NeFut Logo NeFut
EN 管理员登录

[AI学术] LeWAM:端到端世界与动作建模的 JEPAs 方法

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#algorithm #AI #Machine Learning

LeWAM 是一种面向控制任务的端到端 Joint‑embedding Predictive Architecture(JEPA),它在单一模型中同时学习紧凑的潜在世界表征和动作驱动的动力学。核心创新包括:

  1. 联合训练目标同时最小化下一个潜在状态的预测误差和动作流匹配误差,使得潜在空间既能捕获环境演化,又能对动作产生敏感响应。
  2. 对潜在状态施加各向同性高斯约束,即 $z \sim \mathcal{N}(0, I)$,保证潜在空间分布统一,从而同一模型既可直接用于策略执行,也可在采样动作后通过潜在动力学快速评估并进行规划。

在视觉规划基准上,LeWAM 将成功率从 28.6% 提升至 89.7%(接触丰富任务),从 10.9% 提升至 46.2%(长时程任务),并实现 32.3 倍的规划速度提升。对仿真和真实机器人上的行为克隆任务,LeWAM 的表现也与主流方法持平。可解释性分析表明,模型学习到的潜在表征聚焦于控制相关特征,动作分布能够在测试时有效引导规划与控制。

点评

原文链接: https://arxiv.org/abs/2610.12818

[h] 返回首页