在世界建模中，需要预测不确定的未来，同时保留对下游感知有用的信息。现有的视觉世界模型往往难以同时满足这两个目标：基于变分自编码器（VAE）的随机模型在低维重建潜变量中运行，这可能限制感知性能；而使用强大预训练特征的确定性预测器则将多模态的未来压缩为单一模糊均值。
在这项工作中，我们提出了FlowWM，一种在预训练特征空间（例如DINOv3）中直接执行流匹配的随机世界模型。这一过程具有挑战性，因为预训练特征的维度相当高，使得标准扩散方法的效果不佳。为了解决这个问题，我们研究了特征空间流匹配所需的设计选择，并引入了一种可微分的一步投影机制，能够在训练过程中实现时间一致性和任务驱动的目标。
我们在两个基准上评估了FlowWM：一个用于系统评估准确性和多样性的合成基准，以及一个真实世界基准FuturePerception。FlowWM提高了感知性能、模式覆盖率和时间视角的鲁棒性，验证了我们在高维特征空间中进行随机世界建模的设计思路。
博主点评：FlowWM通过在高维特征空间中进行流匹配，显著提升了随机世界建模的性能，尤其在处理复杂的多模态未来时展现了其独特优势。这种方法为未来的视觉模型设计提供了新的思路，值得深入探索。