摘要
所有前沿的大语言模型（LLMs）均表现出响应漂移——生成的输出偏离专家验证的参考标准。然而，这种漂移的幅度和结构尚未通过系统的人类评估进行表征。我们报告了一项完全交叉的评估，其中47位来自不同地区的参与者在盲测条件下评估了涉及十个前沿LLM的62个多领域问题，共产生了29,140个独立评估。
每个模型均有漂移，但漂移的幅度差异显著：八个模型趋于一个统计上不可区分的上限（78-81%的偏差），而两个模型的偏差较低（47-49%）。漂移特征在六个领域和62个问题之间存在差异，且上限模型之间的成对相关性超过 r = 0.85。自动化相似性指标在解释人类判断的方差中贡献不足 2%。这些发现表明，响应漂移在前沿LLM中是普遍存在的，其结构依赖于领域和问题，仅通过以人为中心的评估才能获取。
博主点评： 该研究揭示了当前前沿LLM在实际应用中的潜在问题，强调了人类评估的重要性，未来的模型改进应更加关注这些漂移现象的根源，以提升模型的可靠性。