长时域的世界模型规划通常采用自回归滚动,即把预测的状态一次又一次输入模型。这样可以保持时间结构,但会形成长度等于规划视野的顺序路径,后期的预测会受到递归的解码状态反馈的影响。
我们提出并行预测世界模型(Parallel Predictive World Models,PPWM),它在保持未来表示之间因果交互的前提下,能够并行预测有限视野的轨迹。每条视野以其因果动作前缀为条件,未来的表示在解码前相互作用,从而把时间因果性与逐状态输出的递归分离。
我们将自回归滚动形式化为因果轨迹映射,并指出 PPWM 移除了其中的解码状态反馈通路。 在四个视觉控制任务上,PPWM 在长时预测误差上最低,在使用交叉熵方法(CEM)进行模拟器成功率上最高。与此同时,PPWM 相比自回归 LeWM 基线在 CEM 规划速度上平均提升超过 3\times 倍。这表明,精准高效的长时域世界模型规划并不需要逐状态的自回归,而是可以通过并行的因果轨迹预测实现。
点评