LLM 评审正被用作多成员面板,成员之间的分歧常被解释为评分标准不清晰。我们提出一种标签无关的流程,将分歧转化为评分标准的修正。
该流程首先把完整评分标准拆解为子准则,在开发集上计算每个子准则的跨评审分歧并排序,只对分歧最大的若干条目交由编辑模型重写。随后将可通过文本检查的子准则迁移到确定性检查器,实验中此步骤未迁移任何条目。整过程不使用人工标签进行条目选择或编辑,人工标签仅用于最终评估。
我们在预先登记的协议中列出四个假设,使用三家提供商的五名评审在 SummEval、HealthBench 元评估以及 USR Topical‑Chat 三个数据集上测试六种评分标准配置,共计 129,770 次评审请求(不含重试)。
在 SummEval 上,流程使跨评审 Krippendorff 的 $\alpha$ 提升 $0.069$(95% CI $0.046$ 到 $0.092$),相较于对等数量随机条目编辑的对照提升 $0.074$。然而与专家评分的一致性未出现显著变化,Kendall 的 $\tau$ 差值为 $-0.007$(95% CI $-0.037$ 到 $0.021$)。HealthBench 与 USR 上的跨评审一致性和与人类的一致性均未达到预设效应阈值。
在预登记的二次比较中,编辑争议最大条目后的人工一致性在点估计上低于编辑随机条目,但置信区间均未排除零。结果表明,基于分歧选择条目可以提升评审之间的共识,却未使评审更接近人类标注。
我们将公开代码、冻结的评分标准、条目标识以及评审得分。
点评