在任务完成和合成训练数据过滤时，智能体需要可靠的输出验证手段。本文聚焦验证器生成：智能体根据任务指令和可用环境，编写可执行的验证器，使其能够接受所有合法解并拒绝非法解。我们构建了 VerifierBench，收录了来自六个智能体基准的 222 个任务，涵盖工具调用、状态推理和代码验证等场景，并提供了 4,993 条隐藏测试用例，包含多样的合法解和攻击样例。为筛选源验证器和测试套件，我们设计了 Verifier4Verifier（V4V）六检查审计流程。
在统一的智能体框架下，19 种模型的归一化平衡准确率在 10.6% 到 62.1% 之间。生成的验证器在拒绝非法解方面表现更稳健，但这往往掩盖了过于严格的验证行为：多数误拒案例来源于根本不接受任何测试解的验证器。案例分析显示，验证器常假设特定的解格式、工具使用方式或代码改动，导致合法解被排除。这类错误在自测阶段仍能存活，因为智能体往往只测试符合其错误假设的解，或在未确认任何正确解通过的情况下直接提交验证器。
研究表明，评估验证器时应同时检查其是否接受已知正确解以及是否接受任务允许的其他合法解。项目页面和数据集已公开发布。
点评