摘要
世界动作模型（WAMs）在机器人操作中展现出强大的潜力，通过联合建模视觉未来动态和可执行的动作序列。然而，现有的视频-动作联合训练方法主要优化面向外观的视频潜变量，可能不足以捕获精确操作所需的时变几何信息。我们提出了MECo-WAM，一种多专家联合训练的世界动作模型，它在视频-动作表示中注入与动作相关的4D几何先验，同时保持原有轻量级推理图。
在训练过程中，MECo-WAM结合了视频专家和动作专家，并使用一个轻量级的4D专家，该专家由冻结的VGGT编码器的关系目标进行监督。非对称的专家可见性防止了辅助几何到动作生成的非因果捷径。为了将几何知识转移到已部署的视频-动作路径中，我们引入了衰减的4D读取掩码注意力，它在训练早期提供受限的当前帧几何指导，并逐步去除这种依赖。
此外，我们进一步提出了基于动作的时间几何蒸馏，旨在对齐帧内几何关系及其时间演变，同时强调与机器人动作最相关的视觉区域。部署时，所有辅助的4D组件被移除。在LIBERO（98.2%）、RoboTwin 2.0（92.6%）以及具有挑战性的现实世界操作任务上的实验表明，MECo-WAM在不增加推理成本的情况下提高了操作性能。
博主点评： MECo-WAM通过引入4D几何先验，显著提升了机器人操作的效率，这种方法在保持轻量级推理的同时，充分利用了几何信息的时变特性，展现了未来机器人技术的巨大潜力。该研究不仅为机器人操作提供了新的视角，也为相关领域的研究者提供了宝贵的参考。