在评估前沿大型语言模型（LLMs）时，静态基准测试面临污染和饱和的问题，这使得用户无法区分顶级模型，开发者也无法识别特定的失败模式，同时人类的偏好又是主观的。本文提出的问题是：大型语言模型是否知道其他模型不知道的内容？我们能否利用这种动态进行评估？
我们介绍了LivingArena，一个自动化的、抗污染的评估框架。在这个框架中，模型轮流提出问题，目标是提出对手无法正确回答的内容。提问者被鼓励主动识别并利用对手的知识边界，当回答者失败时，提问者会获得奖励，而回答者则在回答正确时获得奖励。为了确保问题包含客观可验证的答案，强模型的评审小组对其进行验证，如果验证失败，提问者会受到惩罚。
在对十个前沿LLM进行评估时，LivingArena产生了一个稳定的Elo排行榜。我们的行为分析显示，模型能够识别并利用同行的认知边界：自我对弈和比赛记录表明，它们能够定位并加大对对手薄弱维度的攻击。
除了静态知识回忆外，同行探测还衡量了事实的严谨性和探测对手弱点的高阶能力，与人类偏好的相关性较弱，并提供了一种可扩展、低成本的持续评估方法。
博主点评： LivingArena的评估框架为大型语言模型的比较提供了新的视角，尤其是在动态评估和知识边界探测方面。该方法不仅关注模型的知识量，还强调了模型间的相互作用，展示了LLM间的复杂性与潜力。它为未来的模型评估开辟了新的道路，值得深入研究。