NeFut Logo NeFut
EN 管理员登录

[AI学术] Mine Odyssey:在野外评估空间代理智能

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #Open Source

近年来,基础模型的进步推动了将智能体引入真实物理世界的研究。这类智能体需要具备空间代理智能:在未知环境中探索、通过交互不断更新空间认知、并依据反馈动态调整行为,以完成一系列目标。现有基准大多局限于单一布局、固定尺度或简单的遍历需求,难以全面衡量真实场景下的空间推理能力。

Mine Odyssey 是一个基于 Minecraft 重建的真实世界地点的基准,旨在系统评估智能体的空间代理能力。它收录了 30 个分布在 20 个国家和地区、覆盖五大洲的地点,共计 180 项任务,其中包括 20 处户外和 10 处室内场景。地点范围从纽约曼哈顿中城到德国乡村 Entrup,再到西班牙圣卢西亚山和英国白金汉宫,涵盖多样的空间尺度、布局、地形和连通模式。

每个任务都挑选了具有实际意义的路标(如地标、建筑、房间),并人工确认其可达性。任务指令以自然语言给出,需要智能体按照指定顺序访问这些路标。完成任务的关键在于:寻找可通行路径、识别并打开门、利用楼梯或梯子在不同层级之间移动、实时监控进度并在导航错误时进行纠错。

在对八个最先进模型的评估中,GPT‑6 Astra 达到最高成功率 85.6%。第二名 Claude Opus 5.5 完成率为 73.9%,而表现最好的开源权重模型 DeepSeek‑V4.1‑Flash 仅为 23.9%,说明当前模型的空间代理智能仍有巨大提升空间。进一步的综合分析和消融实验揭示了现有模型在路径规划、层级切换和错误恢复等方面的局限,为未来的模型改进提供了明确方向。

点评

原文链接: https://arxiv.org/abs/2610.11328

[h] 返回首页