文本到视频生成极大丰富了内容创作，并有潜力演变为强大的世界模拟器。然而，建模广阔的时空空间仍然计算密集，特别是在使用变换器时，其序列处理的复杂度为平方级，限制了实际应用。最近在线性时间序列建模方面的进展，尤其是Mamba架构，提供了一种更高效的替代方案。然而，其简单的设计限制了其在多模态和时空视频生成任务中的直接应用。为了解决这些挑战，我们引入了M4V，一个用于高效文本到视频生成的多模态Mamba框架。
具体而言，在框架内设计了一个多模态扩散Mamba（MM-DiM）模块，以实现多模态信息和时空建模的无缝集成。我们引入了一种新颖的多模态令牌重组设计，通过简单的令牌排列采用双向方案进行多模态信息集成，并结合视觉寄存器以增强时空一致性。结果，M4V中的MM-DiM模块在生成768x1280分辨率的视频时，FLOPs减少了45%，相比于基于注意力的替代方案。此外，本研究探索了几种训练策略，以更好地理解如何仅使用公开可用的数据集训练文本到视频模型。对文本到视频基准的广泛实验表明，M4V能够生成高质量视频，同时显著降低计算成本。
项目页面：M4V Project
博主点评： M4V框架通过引入多模态扩散Mamba模块，显著提升了文本到视频生成的效率，尤其是在处理高分辨率视频时的计算成本。其创新的令牌重组设计为未来多模态任务提供了新的思路，值得进一步探索与应用。