摘要
JEPA 世界模型通过潜在回归训练单一确定性预测器来预测下一个潜在状态。然而，当环境是随机的时，这种方法在结构上会失败：在分支转变时，回归最优预测器输出后继嵌入的条件均值，这个点介于真实下一个状态之间，却对应于根本不存在的状态。我们证明了这一点对于确定性和门控混合专家预测器的崩溃，并证明 MoP-JEPA 的硬分配预测器会收敛到转移分布的量化器：每个后继模式一个头，能够在单次前向传递中枚举，这也是规划者所需的接口。
在官方 OGBench 离线数据上，采用单一预测器回滚的规划表现较差（成功率 $0.02$--$0.09$），而基于我们预测模式的规划成功率高达 $0.85$，在每个任务上均超过了确定性、门控 MoE 和变分预测器。
由于多重预测评估可能导致覆盖利用，因此我们方法的一部分包含验证协议：输入无关的代码本控制、打乱上下文测试、路由门控读出、转移精度保护，以及在模型盲目提出其转移图的情况下仅用真实数据检查结果的验证路线标准。在这一标准下，我们的方法在所有三个迷宫上超越了最强软替代方案（$2$--$5 imes$），并且协议识别出基线原始分数的剩余差距是由于通过不存在的预测转移的路线。
相同的模型在真实环境中执行，在最困难的迷宫中名列前茅，位列七个基准中的第二。多模态动态决定了 JEPA 世界模型是否能进行规划；硬分配预测器的混合是一个最小且可验证的解决方案。
博主点评： 本文展示了 MoP-JEPA 在随机环境中的应用潜力，具体通过硬分配预测器的混合来增强模型的规划能力。这一进展不仅提升了成功率，还为未来的模型设计提供了验证的思路，值得关注！