摘要
在LLM作为评审者的评分中，即使候选响应保持不变，评分结果也可能因评审者的更换而发生变化。我们将这种评审者替换的模糊性视为测量有效性问题。在四个判断数据集上，我们比较了两种实际可用的升级路径：将Qwen3的稠密评审者从1.7B参数升级到32B参数，以及跨越MiniMax M2-M2.7的发布API。
主要观察结果是，评审者的升级并非可以互换：仅有Qwen3从1.7B到4B的升级能带来稳健的相邻增益，而MiniMax相邻版本则没有。更强的评审者虽然减少了位置和冗长性的偏见，但并未完全消除这些偏见。重复样本的评审团在错误相关的情况下几乎没有增加价值。结构化辩论可以显著改变决策，但在没有解析器和后备日志的情况下，这些变化无法归因于深思熟虑的讨论。
我们主张，LLM作为评审者的报告应包含数据集切片、偏见探测、错误依赖估计以及协议审计记录。
博主点评： 本文探讨了LLM作为评审者的可靠性，强调了评审者更换对结果的影响。通过比较不同模型的性能，提供了对模型选择和评审过程透明度的重要见解，建议未来的评审报告应更加详细，以确保结果的可信性和有效性。