代理框架让大语言模型通过工具执行、观察结果并迭代完成任务。验证环节负责检查并修正模型的输出，以提升质量。然而，如何在框架中组织验证缺乏系统指引。我们将验证视为测试时扩展的一个维度，围绕介入时机、检查主体以及检查到修正的路径展开研究。框架划分为四层：初始指令、回合中提醒、完成门槛和独立评审。我们在 Terminal‑Bench (TB) 与 SWE‑bench Verified (SWE) 上对七种前沿编码模型的 17 种设计进行比较，并引入 VisualBench 用于人工评估视觉和交互产物。实验表明，初始指令和执行时提醒能够带来轻微且模型依赖的平均提升，且几乎不增加输出 token。完成门槛可获得更大提升，但成本显著上升。独立评审作为批评者提供了更优的准确率‑成本平衡，在 TB 上提升 5.9‑9.5 个百分点、SWE 上提升 3.9‑6.6 个百分点，成本仅为基线的 1.13‑1.25 与 1.00‑1.04 倍。VisualBench 上独立评审在四种设计中获得 13.2‑23.8 分的净偏好，超越所有 L0‑L2 设计。增加评审轮次或引入更多独立批评者可进一步将 TB 平均准确率提升至 3.5 个百分点。总体而言，这些实证结果为代理框架的验证设计提供了参考，支持将独立评审作为测试时扩展的实用手段。
点评