NeFut Logo NeFut
EN 管理员登录

[AI学术] 何时需要更新动作信用?

发布于:2026-09-25 22:00 最后更新:2026-09-28 00:49
#algorithm #AI #Machine Learning

工具使用代理在每次策略更新后,历史估计的动作信用可能变陈旧。重新计算需要大量工具调用和环境交互,成本高。

关键观察是,动作价值的变化不一定导致决策改变,只要策略漂移不足以颠倒动作排序,历史信用仍然有效。

为量化这种影响,引入成对分支敏感性(pairwise branch sensitivity),用于捕捉策略更新对区分两个候选动作的下游分支的影响强度。

基于此,推导出一阶锚定信用传输估计器,利用旧的干预轨迹在不重新采样的情况下近似更新历史信用。

进一步提出决策充分信用门(Decision‑Sufficient Credit Gate,DSC‑Gate),根据分支敏感性决定是复用、传输还是重新采样信用。

实验表明,分支敏感性比全局策略距离更能解释信用漂移。拥有足够历史数据时,信用传输显著降低估计误差,且对决策的收益集中在影响分支的更新上。独立测试集上,DSC‑Gate 相对基于间隙的门,平均后悔仅增加 +0.00004,同时平均新工具步骤从 472 降至 286,下降 39.4%。真实工具代理参数更新后也观察到相同趋势。

结论:代理不必在每次策略更新后重新计算动作信用,能够复用或廉价校正大部分历史证据,从而显著减少保持决策最新所需的额外交互。

点评

原文链接: https://arxiv.org/abs/2609.29007

[h] 返回首页