NeFut Logo NeFut
EN 管理员登录

[AI学术] 卡住的代理应将下一个 Token 用于何处?推理时资源的因果归因

发布于:2026-10-24 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

在推理阶段的规模扩展常被视为 token 预算 问题,但当编码代理出现错误时,它可以寻求截然不同的资源:计算、信息或反馈。为此我们提出 Banzhaf 资源归因 (BRA),这是一种受控的因子实验框架,能够在固定失败状态和修复协议的前提下,测量每类资源对修复的边际贡献以及它们之间的交互效应。

我们在 MBPP+ 与 HumanEval+ 的 194 项函数级别失效,以及 SWE‑bench Verified 的 126 项仓库级别失效上,对六种模型进行评估。实验结果显示:

此外,额外计算资源的价值随模型能力提升而下降,而信息资源仍保持有效;大多数资源渠道呈现 递减收益,但互补信息之间可以产生强化效应。值得注意的是,四个前沿模型中有三种在 95‑100% 的情况下选择了反馈,却获得的增益低于均匀随机选择资源的效果。

BRA 揭示了代理偏好资源与实际提升修复效果之间的显著差距。

点评

原文链接: https://arxiv.org/abs/2610.28834

[h] 返回首页