NeFut Logo NeFut
EN 管理员登录

[AI学术] Slot-JEPA:面向潜在世界模型的对象结构化预测接口

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

Joint-Embedding Predictive Architectures(JEPAs)作为典型的潜在世界模型,能够学习强大的语义表征。但其使用的密集补丁表示向下游预测器暴露了冗余的接口,需要预测器自行推断空间组织和时间对应,导致三个主要问题。第一,物体信息分散在各个补丁中,每个下游任务都必须重复恢复对象结构,无法共享。第二,缺乏显式的跨时间实体对应,使得历史转移的利用成本高,限制了上下文的灵活使用。第三,现有 JEPA 通常采用点对点的 $l_1$/$l_2$ 距离进行监督,当预测的支持与目标支持几乎不重叠时,这类距离对空间位移不敏感。为了解决这些问题,我们提出了 Slot‑based Joint‑Embedding Predictive Architecture(Slot‑JEPA),它将密集特征分解为稳定的语义槽(slot)和随时间变化的空间掩码。该分解在一次预训练后冻结,可为下游任务提供可复用的对象结构化接口。基于此,我们设计了 Transition Memory Predictor(TMP),它将视觉转移存储为紧凑的掩码,并通过对应槽的统计信息检索有用的上下文。TMP 包含两条分支:一条捕获槽内部的专属动力学,另一条建模跨槽的共享动力学。我们进一步引入不平衡最优传输(Unbalanced Optimal Transport,UOT)来监督掩码预测,并在评估候选计划时通过在对齐的预测掩码与目标掩码之间传输质量,得到更贴合空间进度的信号。实验在七个视觉理解基准上验证了槽重建特征的可迁移性,并在 REALM‑JEPA 基准的六个平面环境和四个机械臂规划任务上显著提升了目标条件规划性能。

点评:Slot‑JEPA 通过显式的对象槽和空间掩码,将原本散落的像素信息组织为可复用的结构,大幅降低了下游任务的学习负担,并通过 UOT 提供了更具几何意义的监督信号,展示了在多任务视觉规划中的强大潜力。

原文链接: https://arxiv.org/abs/2610.28074

[h] 返回首页