我们推出 SpireBench，让大语言模型在完整的商业卡牌游戏 Slay the Spire（StS）中进行全程对局。游戏前期的选择会决定后期的成败，因而能够检验模型的长时程战略推理能力。我们在最高难度下测试了 20 种大语言模型（LLM），结果显示：最前沿的模型能够超越启发式基线，整体表现与普通人玩家相当，但仍远低于专家水平。随着对局长度增加，性能差距进一步扩大——最强模型在第一幕的胜率可与专家持平，但随后逐渐落后。
强模型与弱模型的主要区别在于它们对每一场战斗的处理方式。所有模型普遍低估风险，倾向于保留生命值而不是主动消耗以获取更强的卡组，这导致整体跑图表现不佳。我们对游戏中的每一个术语进行了自洽的重新命名，发现模型的部分成功来源于对游戏已有的先验知识，而不是在多轮对局中通过记忆进行学习。模型写入的记忆往往错误且过于保守，未能在后续对局中产生正向提升。
我们的实验平台是首个能够让模型直接运行原版游戏的 harness，并与已有的简化版 harness 进行了对比。总体而言，SpireBench 提供了一个未被饱和的长时程基准，并配备了定位模型失误位置和原因的工具。
点评