摘要
视频扩散模型（VDMs）在生成质量上表现出色，但计算成本高昂。尽管最近的少步蒸馏技术显著加快了推理速度，但通常在所有去噪阶段强制使用静态模型架构，忽视了不同噪声水平固有的计算需求。在这项工作中，我们提出了一种新颖的后训练加速框架，通过将动态结构稀疏化直接整合到蒸馏过程中，来利用这一冗余。
与应用于固定扩散管道的传统后处理压缩不同，我们的方法联合优化去噪步骤和结构模型稀疏性，将预训练的VDM转变为紧凑的步骤特定混合模型（MoM）。为了解决这种联合优化带来的训练不稳定性，我们引入了渐进训练策略和输出回滚机制，确保跨时间步结构决策的一致学习。此外，我们开发了专门的推理引擎，以高效部署所得到的MoM。
我们的方法与现有的加速技术是正交的，且效果显著：在Wan-14B上，它在4步蒸馏的基础上移除了每步24%的FLOPs，增加了1.2倍的时钟增益，并在保持竞争生成质量的同时实现了相较于50步教师模型的30倍加速。
博主点评： 该研究通过动态结构稀疏化与少步蒸馏的结合，为高效视频生成提供了新思路，显著提升了推理速度，具有重要的实际应用价值。值得关注的是其在训练稳定性上的创新策略。