文本世界模型近期展示了在复杂强化学习环境状态转移模拟中的潜力，但缺乏统一的基准来比较、研究和提升这些模型。为此，本文构建了 GlobeBench，一个包含 1,632 项任务、覆盖五个领域、涉及十九种仿真技能的全新基准。任务要求模型在给定完整的智能体轨迹后，预测特定动作下环境的响应，需要理解之前的状态变化、遵循环境规则，并预测动作对相关和无关对象的影响。评估采用混合架构，结合确定性门控和语义判别器，将模型预测的环境响应与基于实际执行得到的参考进行比对。对 20 种通用大语言模型和专用文本世界模型进行测试，GPT‑6 Astra 以 49.57% 的任务成功率居首。结果显示，随着动作影响范围扩大，模型准确率下降；当智能体的变化必须传播到依赖对象时，所有模型的平均成功率仅为 5.1%。尽管不同模型在特定任务上表现各异，仍有 631 项任务未被任何模型解决，表明通用大语言模型作为世界模型仍存在显著差距。
点评