本文提出了一种兼容性预测潜在世界模型(LWM),用于机器人导航。传统世界模型往往通过重建未来观测或特征来学习状态转移,但这会引入不必要的复杂度,且对决策帮助有限。LWM 直接预测动作条件下的潜在特征兼容性,而不是重建观测图像。核心思路是空间邻近性对应潜在特征相似性,因而可以在潜在空间中直接评估动作后果。
为实现反事实训练,模型在多个轨迹上采样动作序列,并学习预测哪些序列能够使机器人更接近目标。该预测机制使得模型能够在没有动作标注的视频数据上监督策略学习,并进一步通过在潜在世界中进行强化学习来提升策略。整个想象驱动的框架省去了动作标签和额外环境交互的需求。
在多个真实机器人导航数据集上的实验表明,LWM 在预测精度、策略学习以及实际导航表现上均显著超越了已有的世界模型和模仿学习方法。代码、预训练模型及补充材料已公开。
博主点评:LWM 通过把注意力从高维观测重建转向潜在特征兼容性,实现了更高效的决策推理。尤其是反事实序列预测和全模型内强化学习的设计,展示了在低标注成本下提升机器人导航性能的可行路径。该工作对未来的自监督机器人学习具有重要启示。