背景
自我中心的人类数据为机器人操作提供了可扩展的监督。然而，行为克隆将可转移的内容（如物体、场景和任务语义）与不可转移的因素（如人类形态、头部运动和行为风格）混淆。我们探讨世界行动模型（WAMs）是否通过要求策略不仅预测动作，还预测场景的演变，提供更好的训练信号。
研究目标
中心问题是，什么样的世界表示最能促进人类到机器人之间的转移。我们假设，有效的世界目标应该抽象外观、捕捉代理不变的物理效应，并将相机运动与环境变化分离。
EgoWAM框架
我们介绍了EgoWAM，一个受控的人机共同训练框架，固定策略主干、动作头和数据混合，同时仅改变世界预测目标，比较了Pixel、DINO和3D运动流。在三个真实的双手任务中，WAM共同训练比行为克隆更有效地扩展了野外的自我中心人类数据。
基于像素的预测转移效果较弱，而DINO和3D流则带来了显著的提升：DINO使得分布外物体和场景的泛化提高了4倍，3D流则使得领域内表现提升了20-30%。
结论
EgoWAM框架展示了在复杂环境中如何通过选择合适的世界表示来优化机器人学习。
博主点评： EgoWAM的研究展示了在机器人学习中，选择合适的世界模型能够显著提高性能，尤其是在复杂的真实环境中。这为未来机器人智能的发展提供了新的视角，尤其是在自我中心数据的利用上。