NeFut Logo NeFut
EN 管理员登录

[AI学术] 探索时序上下文感知的物理落地在潜在世界模型中

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

学习潜在动力学是构建可用于规划的动作条件世界模型的核心。现有方法中,联合嵌入预测架构(JEPA)通过在潜在空间直接建模状态转移,提供了自然的框架。然而,JEPA 在物理落地和动作规划上仍存在两个主要不足:

(i) 物理落地缺乏对时序上下文的显式聚合; (ii) 动作规划过度依赖通用的采样分布。

为了解决这些问题,我们提出了 $\mathcal{G}$-JEPA。该模型在学习阶段引入共享的因果时序模块,在观测序列和预测序列中聚合时序上下文,并在物理状态监督下将潜在表示锚定到任务相关的物理状态上。

在规划阶段,$\mathcal{G}$-JEPA 通过对生成式动作分布进行逐步条件化,将当前潜在表示、目标潜在表示以及它们随时间变化的差异作为输入,得到有锚定的动作提案。这些提案在模型内部进行在线细化,从而引导搜索过程更高效。

实验在多种操作任务上验证了该方法的有效性,尤其是在初始观测与目标观测之间时序间隔逐渐增大的情形下,规划性能显著提升。代码已公开:https://github.com/myl11045/G-JEPA。

点评

原文链接: https://arxiv.org/abs/2610.28483

[h] 返回首页