摘要
软件代理基准通常报告代理是否解决了某个任务，但代理达成这一结果的过程受到一个控制其观察、可采取行动、修复失败、验证状态和记录证据的 harness 的影响。我们展示了，即使任务、环境和基础 LLM 固定，这种 harness 也会改变代理的多步骤信念。
我们引入了一种信念回滚诊断工具，能够提取关于进展、风险、可恢复性、约束、失败模式、不确定性、未来成功、修复成本和在不同 harness 下的下一步行动的结构化 K 步轨迹。
我们定义了跨 harness 的信念偏差，并将其分解为用于立即界面变化的到达项和用于依赖于时间的信念变化的增长项。在受控编码任务和公共基准压力测试中，阻塞的行动、压缩的修复、选择性的验证和成本意识的证据修剪通常能保持最终成功，同时改变驱动后续决策的信念。
此外，我们引入了 BIWM，一种无训练协议，用于规范观察、记录被审查的分支、扩展修复痕迹、记录验证掩码、在阴影中执行风险分支，并在 harness 视图之间对齐信念轨迹。结果表明，harness 设计在代理评估中是一个实验变量，而非实现细节。
我们的代码可在 GitHub 获取。
博主点评： 该研究强调了在评估 LLM 代理时 harness 设计的重要性，揭示了信念偏差如何影响决策过程。这为未来的代理设计提供了新的视角，鼓励研究者关注如何优化 harness 来提高代理的智能表现。