近年来,基础模型的进步推动了将智能体引入真实物理世界的研究。这类智能体需要具备空间代理智能:在未知环境中探索、通过交互不断更新空间认知、并依据反馈动态调整行为,以完成一系列目标。现有基准大多局限于单一布局、固定尺度或简单的遍历需求,难以全面衡量真实场景下的空间推理能力。
Mine Odyssey 是一个基于 Minecraft 重建的真实世界地点的基准,旨在系统评估智能体的空间代理能力。它收录了 30 个分布在 20 个国家和地区、覆盖五大洲的地点,共计 180 项任务,其中包括 20 处户外和 10 处室内场景。地点范围从纽约曼哈顿中城到德国乡村 Entrup,再到西班牙圣卢西亚山和英国白金汉宫,涵盖多样的空间尺度、布局、地形和连通模式。
每个任务都挑选了具有实际意义的路标(如地标、建筑、房间),并人工确认其可达性。任务指令以自然语言给出,需要智能体按照指定顺序访问这些路标。完成任务的关键在于:寻找可通行路径、识别并打开门、利用楼梯或梯子在不同层级之间移动、实时监控进度并在导航错误时进行纠错。
在对八个最先进模型的评估中,GPT‑6 Astra 达到最高成功率 85.6%。第二名 Claude Opus 5.5 完成率为 73.9%,而表现最好的开源权重模型 DeepSeek‑V4.1‑Flash 仅为 23.9%,说明当前模型的空间代理智能仍有巨大提升空间。进一步的综合分析和消融实验揭示了现有模型在路径规划、层级切换和错误恢复等方面的局限,为未来的模型改进提供了明确方向。
点评