学习经验是 LLM 代理适应陌生和动态环境的关键。评估这种能力有助于了解代理获取并使用新知识的效果。已有基准多聚焦于规则已在指令中给出或模型已熟悉的任务，难以区分交互学习与已有知识推理。为此我们推出 Learn2Play Bench，包含若干全新设计的文字游戏，规则新颖或违背直觉，要求代理通过交互获取知识，而不能仅依赖预训练知识。游戏提供可复现的反馈和自动评分，支持在多次尝试中进行受控的学习评估。我们还会变换游戏实例，检验代理能否将已学知识迁移到新情境。基于此，我们考察了不同骨干模型、自演化方法和代理框架对学习能力的影响，得到三点结论：① 经验保留：完整记录动作和反馈比将经验抽象为规则或策略更有利于学习。② 人类代理差距：表现最好的人工玩家的最高分高于所有评测代理，且人类探索策略更多样，重复动作更少。③ 框架重要性：在骨干模型固定的前提下，切换代理框架即可提升性能并降低推理成本估计。上述发现为理解 LLM 代理的经验学习提供了视角，也指明了提升学习能力的潜在方向。项目网站：https://liushiliushi.github.io/learn2play-bench-website/
点评