MAGMA-Bench 是一个与架构无关的基准，用于测试在动态多机器人环境中持续任务推理的能力。它通过逐步增加任务时长和引入受控的在线扰动（如执行失败、任务中断和任务更新）来评估代理。场景要求具备异构机器人协同，且每个机器人拥有不同的技能集合。基准采用结构化的技能层接口，将任务层推理与感知、低层控制解耦，从而使评估更聚焦于高层决策。
我们对本地可部署的开源权重规划器、多机器人状态跟踪策略以及前沿大模型进行了实验。即使是表现最好的模型，在干净的测试集上也只能完成约三分之二的任务；在加入在线扰动后成功率进一步下降。通过监督式微调可以显著提升小模型的表现，但在更长的任务和多机器人协同情形下仍然落后。
基准公开了 261,646 条任务级训练样例以及一个与架构无关的专家轨迹生成流水线，供研究者复现和扩展。
点评