摘要
视频扩散变换器（vDiTs）能够生成高质量视频，但因长扩散时间步和自注意力计算引入了极高的计算成本。随着扩散时间步的减少，自注意力计算的成本成为主要瓶颈。现有的加速方法大多借鉴了大型语言模型的稀疏注意力技术，但未考虑视频数据独特的时空相关性。
本文提出了Kaleido，一种算法硬件协同设计，旨在通过利用潜在空间中的通道级时空相关性来加速vDiTs中的所有操作。基于这一洞察，我们提出了一种轻量级的通道级重用算法，该算法通过重用部分结果来跳过冗余计算，同时保持比之前方法更高的生成质量（17 dB）。
为了有效支持该算法，我们设计了一种类似于systolic array的加速器，配备可重配置的处理单元和轻量级数据调度器，以缓解由重用算法引入的不规则稀疏性和数据访问模式。评估结果显示，Kaleido在三种主流vDiT模型上实现了高达5.9倍的加速和16.0倍的能量节省。
博主点评：Kaleido的提出为视频生成领域提供了新的视角，通过精确的算法与硬件协同设计，显著提升了计算效率，解决了传统方法在时空数据处理中的不足。该技术不仅为生成质量提供保障，还在能耗方面实现了显著的优化，具有广泛的应用前景。