摘要
LLM作为评判者（Zheng et al., 2023）在企业管道中评估AI系统时逐渐成为默认选择，通常扩展到多个判断者的集合（Verga et al., 2024）或“专家混合模型”（Shazeer et al., 2017）。这些系统共享一个关键假设：一致性——判断者之间或模型自身样本之间的同意——表示正确性。我们表明这一假设是不可靠的。同意并不意味着准确性：一个模型可以与自己达成一致，不同模型之间也可以出于共享偏见、记忆启发式或选项位置先验而达成一致，而非真实。
我们探讨在大规模跨运行者研究中，在何种情况下一致性仍然是可用的代理：53个运行者为分配的重叠案例绘制了K=50个样本，比较模型等级、提示和规模，使用GPQA Diamond和AIME，共计265,000个样本。使用多数正确性作为部署标签，并采用分层运行者聚类自助法，显示一致性是一个积极但较弱的预测因子（rho 0.20-0.59，所有在项目聚类重抽样下均为正），其有效性依赖于模型的状态：在饱和度较低的中层模型和计算分配时效果最佳，而在最一致的前沿模型中表现最差——尽管过于自信，但准确性并没有提高（在77%的GPQA案例结果条目中一致性为0.8，其中48%是错误的）。
对三个Claude等级的探索性跨家族检查显示相同的前沿过度自信，提供者之间的自信错误在边际保留的零假设之上反复出现。因此，自一致性只是正确性的有条件代理，而非独立的信心评分。我们公开发布了去标识化的每次运行行和答案分布。
博主点评： 本文揭示了大型语言模型的一致性并不一定能作为其正确性的可靠指标，强调了在实际应用中需要对模型输出进行更为严谨的审视。尤其是在模型信心过强时，可能会导致严重的错误判断，提示我们在评估AI系统时需多维度考量模型的表现。