扩散模型的文本到图像转换能够合成复杂且高度结构化的视觉内容，但其语义结构的出现与演变仍然难以解释。许多现有工作流程依赖于聚合注意力或标量摘要，这些方法将时间变化与图像空间证据分离。为了解决这一问题，我们提出了一种可视分析框架，用于探索扩散模型中的注意力动态：即基于步骤索引的令牌级交叉注意力图的演变、其时间集中度以及空间关系。
我们的方案通过将定量度量与数据驱动的阶段识别集成到交互式工作流程中，实现了对生成步骤中注意力行为的结构化分析。基于一个包含60个提示的结构化Stable-Diffusion基准的案例研究，展示了在这一设置中反复出现且可解释的模式，并表明关联的时间和空间视图如何促进对生成过程的观察和讨论，从而支持更有效的人机协作。
博主点评： 本文提出的可视分析框架为理解扩散模型中的注意力动态提供了新的视角，通过定量与定性结合的方法，能够更好地支持人机协作。这种方法不仅提升了对模型行为的解释能力，还有助于推动生成过程的深入探讨，展现了可视化在AI研究中的重要性。