前沿的大语言模型（LLM）代理已经展示出能够解决日益复杂的任务，并且这些任务往往有人类可度量的解法。这引发了一个关键问题：LLM 代理能否超越人类已经解决的难题？当传统的人类方案因缺乏上下文或训练数据而不足时，开发出能够自行形成复杂策略的能力尤为重要。我们通过视频游戏速通这一社区实践来考察这种策略形成能力。速通玩家的目标是在特定条件下以最快的方式通关游戏，这往往需要对游戏机制进行深入理解并探索出非常规的玩法。基于此，我们提出 SPEEDRUNBENCH，一个覆盖 9 款不同游戏的基准。要在该基准上取得好成绩，代理必须能够：
- 持续改进自己的通关策略；
- 对执行结果进行反思并提取经验；
- 利用已获得的知识进行推理；
- 在长时间跨度的动作序列中进行规划，以不断超越自身和他人的记录。
实验结果显示，当前最先进的 LLM 代理在简单的平台跳跃游戏中能够逼近人类的世界纪录，但在更长、更复杂的游戏中，在实际算力预算下仍落后于人类表现。这表明 SPEEDRUNBENCH 不仅是研究代理策略形成能力的有价值测试平台，也是一种几乎永远存在更快通关记录的饱和抗性评估手段。
点评