研究者越来越多地使用大语言模型作为评审（LLM‑as‑a‑judge）来评价模型输出，但缺乏统一的设计标准。我们对 10 种推理模型在两类任务上进行系统比较：对句子情感和有害性进行 1‑7 标度的标量评分（每类 >500 条），以及对问答对进行二元准确性分类（n=600）。
在评分任务中，尽管评审与人工标注存在显著分歧，平均绝对偏差仅为 0.11 分，表明大多数评审可靠；有害性评审甚至优于传统分类器。二元任务的平均准确率为 96.5%。
设计选择会导致显著偏移：仅更换评分尺度即可使测得偏差变化高达 0.93 分；在分类任务中，使用详细提示会使宽容度下降 28.9%，更换模型时宽容度最高下降 56.1%。意外的是，降低推理努力对准确性和宽容度均无影响。跨任务比较表明模型本身是方差的主要来源。
这些结果表明，LLM 评审在整体上是可信的，但提示、尺度和模型选择仍是导致结果差异的重要因素。本文旨在为构建更稳健、可复现的 LLM‑as‑a‑judge 流程提供方法参考。
点评