摘要
随着预训练、后训练和测试时计算的扩展成为提升大型语言模型（LLM）能力的核心范式，本研究识别出验证——确定解决方案正确性的能力——作为一种新的扩展轴线。为了解锁这一潜力并展示其有效性，我们引入了LLM-as-a-Verifier，一个通用的验证框架，能够为智能任务提供细粒度反馈，而无需额外训练。
与标准语言模型评判者不同，LLM-as-a-Verifier通过计算评分标记logits的分布期望来生成连续分数，而不是简单地为候选解决方案提供离散评分。这种概率性公式使得验证可以在多个维度上扩展：
- 分数粒度
- 重复评估
- 标准分解
特别地，我们展示了扩展评分粒度可以更好地区分正负解决方案，从而实现更为精确的比较。此外，扩展重复评估和标准分解一致性地提升了验证准确性，通过减少方差和复杂性来实现。这一框架还引入了一种成本高效的排序算法，以利用验证者的连续分数选择最佳解决方案。
LLM-as-a-Verifier在Terminal-Bench V2（86.5%）、SWE-Bench Verified（78.2%）、RoboRewardBench（87.4%）和MedAgentBench（73.3%）等基准测试中实现了最先进的性能。除了验证，LLM-as-a-Verifier提供的细粒度信号还可以作为估计任务进展的代理。我们为Claude Code构建了一个扩展，使开发者能够监控和改进自己的智能系统。最后，我们展示了LLM-as-a-Verifier可以为强化学习提供密集反馈，提升SAC和GRPO在机器人技术和数学推理基准上的样本效率。
博主点评： LLM-as-a-Verifier的提出为验证任务带来了新的视角，尤其是在不需要额外训练的情况下，利用概率性评分提高了验证的准确性与效率。这一方法不仅提升了解决方案的评估能力，还为开发者提供了更深层次的反馈，促进了智能系统的优化，未来在RL领域的应用值得关注。