在推理阶段的规模扩展常被视为 token 预算 问题,但当编码代理出现错误时,它可以寻求截然不同的资源:计算、信息或反馈。为此我们提出 Banzhaf 资源归因 (BRA),这是一种受控的因子实验框架,能够在固定失败状态和修复协议的前提下,测量每类资源对修复的边际贡献以及它们之间的交互效应。
我们在 MBPP+ 与 HumanEval+ 的 194 项函数级别失效,以及 SWE‑bench Verified 的 126 项仓库级别失效上,对六种模型进行评估。实验结果显示:
- 与任务相关的规格说明始终显著提升修复成功率;
- 公共测试反馈仅带来微小增益;
- 检索到的代码几乎没有帮助。
此外,额外计算资源的价值随模型能力提升而下降,而信息资源仍保持有效;大多数资源渠道呈现 递减收益,但互补信息之间可以产生强化效应。值得注意的是,四个前沿模型中有三种在 95‑100% 的情况下选择了反馈,却获得的增益低于均匀随机选择资源的效果。
BRA 揭示了代理偏好资源与实际提升修复效果之间的显著差距。
点评