本报告介绍了AlayaWorld的改进版本。虽然骨干架构、分块自回归生成方案和训练数据与之前的版本相比没有变化，但我们大幅度修改了条件信号的表示和集成方式。新的设计遵循一个简单的原则：条件信号应该在潜在表示和时间结构上尽可能匹配生成内容。为此，我们进行了两个主要的修改。首先，我们用流式3D点缓存渲染器取代了之前基于深度变形的空间记忆。其次，我们重新设计了条件管道，使视觉条件在相同的因果VAE潜在空间中编码，并且时间统计数据与生成的视频一致。具体来说，新版本引入了六项修改：（1）用运动感知潜在条件取代静态帧图像条件；（2）将重新渲染的空间记忆作为连续序列进行因果编码；（3）在像素空间中对齐时间记忆窗口；（4）采用硬记忆丢弃，移除记忆令牌而不是将其置零；（5）在训练和推理过程中统一VAE编码和解码协议；（6）移除相机AdaLN分支，以便仅通过重新渲染的空间条件提供视点控制。博主点评： AlayaWorld的改进版本通过优化条件信号的表示和集成方式，进一步提升了长视野世界建模的性能和交互性。新的设计和修改使得该模型能够更好地匹配生成内容的潜在表示和时间结构，从而有望在相关领域取得更好的应用效果。