工具使用代理在每次策略更新后,历史估计的动作信用可能变陈旧。重新计算需要大量工具调用和环境交互,成本高。
关键观察是,动作价值的变化不一定导致决策改变,只要策略漂移不足以颠倒动作排序,历史信用仍然有效。
为量化这种影响,引入成对分支敏感性(pairwise branch sensitivity),用于捕捉策略更新对区分两个候选动作的下游分支的影响强度。
基于此,推导出一阶锚定信用传输估计器,利用旧的干预轨迹在不重新采样的情况下近似更新历史信用。
进一步提出决策充分信用门(Decision‑Sufficient Credit Gate,DSC‑Gate),根据分支敏感性决定是复用、传输还是重新采样信用。
实验表明,分支敏感性比全局策略距离更能解释信用漂移。拥有足够历史数据时,信用传输显著降低估计误差,且对决策的收益集中在影响分支的更新上。独立测试集上,DSC‑Gate 相对基于间隙的门,平均后悔仅增加 +0.00004,同时平均新工具步骤从 472 降至 286,下降 39.4%。真实工具代理参数更新后也观察到相同趋势。
结论:代理不必在每次策略更新后重新计算动作信用,能够复用或廉价校正大部分历史证据,从而显著减少保持决策最新所需的额外交互。
点评