扩散模型在多个领域取得了显著成功，其性能与参数化评分函数的去噪骨干网密切相关。本文系统性地分析了扩散组件，并表明深层潜在变量在早期阶段的突变波动与伪影有强关联。
基于这些发现，我们提出了 DUNE（Diffusion Unified Network refiNEr），一个无训练的精炼框架，能够利用共享的 EMA 基准检测深层低噪声内部潜在变量中的突变，并对检测到的条目施加骨干网特定的抑制。
虽然 DUNE 源自 U-Net，但其检测-抑制原则自然扩展到基于 Transformer 的扩散模型，通过作用于深层自注意力块的潜在变量。多种骨干网的广泛实验表明，DUNE 提高了保真度，同时减少了幻觉，为何时以及如何控制扩散骨干网提供了新的见解。
博主点评： DUNE 通过系统性分析和创新的无训练框架，展现了在扩散模型中减少伪影的重要性。这种方法不仅适用于 U-Net，还能有效扩展到 Transformer 结构，展现出极大的灵活性与应用潜力。