学习潜在动力学是构建可用于规划的动作条件世界模型的核心。现有方法中,联合嵌入预测架构(JEPA)通过在潜在空间直接建模状态转移,提供了自然的框架。然而,JEPA 在物理落地和动作规划上仍存在两个主要不足:
(i) 物理落地缺乏对时序上下文的显式聚合; (ii) 动作规划过度依赖通用的采样分布。
为了解决这些问题,我们提出了 $\mathcal{G}$-JEPA。该模型在学习阶段引入共享的因果时序模块,在观测序列和预测序列中聚合时序上下文,并在物理状态监督下将潜在表示锚定到任务相关的物理状态上。
在规划阶段,$\mathcal{G}$-JEPA 通过对生成式动作分布进行逐步条件化,将当前潜在表示、目标潜在表示以及它们随时间变化的差异作为输入,得到有锚定的动作提案。这些提案在模型内部进行在线细化,从而引导搜索过程更高效。
实验在多种操作任务上验证了该方法的有效性,尤其是在初始观测与目标观测之间时序间隔逐渐增大的情形下,规划性能显著提升。代码已公开:https://github.com/myl11045/G-JEPA。
点评