NeFut Logo NeFut
EN 管理员登录

[AI学术] 代理历史能否预测压缩伤害?对 TRACE 配对回放语料库的适度、有界影响

发布于:2026-10-08 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #LLM

许多长时程智能体在全局规则(通常是 token 预算)下压缩上下文,却对自身正在执行的任务一无所知。我们探讨最近的行为是否能预测压缩后是否会产生负面影响。TRACE 公共语料库包含 590 条在 AppWorld 环境中触发的压缩边界,每条边界都在压缩前的完整上下文和压缩后的摘要两种状态下重新执行前缀,并记录后续动作的负担——即产生错误或重复调用的次数。实验表明,边界前的历史只能弱弱地预测压缩后的伤害。内部预先设定的前缀位置对比结果几乎为零,而直观的 “has‑written” 标记实际上捕捉的是轨迹阶段而非伤害。最佳的扩展协议触发器在保留集上获得 AUROC 0.66(在自身标签上为 0.64),而同一边界的复制模型可达 0.72;最好的冻结、可解释触发器能够避免 21% 的有害边界,同时保留 84% 的压缩机会,在触发次数上超过随机规则,但在负担总量上未能超越。由于当前发布的资源限制,尚无法评估该触发器在等效保留率下是否优于 token‑budget 规则。我们给出应当随模型一起发布的语料建议,以便进一步比较。

点评:本文提供了对压缩策略影响的细致量化,揭示了行为历史的预测能力有限,并提出了可解释的触发器方案,为后续研究指明了数据发布的方向。

原文链接: https://arxiv.org/abs/2610.08722

[h] 返回首页