摘要
预训练扩散模型的丰富性为模型组合提供了机会。然而，组合多个模型时，可能会出现某个模型主导或模型间不一致的风险。为此，我们提出了划分与去噪（Divide-and-Denoise）方法，以协调多个预训练扩散模型在采样过程中的协作。
方法
我们的策略类似于管理专业化的劳动力，旨在实现模型之间公平而高效的劳动分配。该方法的核心是分配机制，定义了每个模型在噪声样本的不同区域中的责任。
在每个时间步中，我们通过以下两步进行去噪：
- 解决一个公平分配博弈，更新分配，将样本划分为在公平约束下最大化总效用的区域；
- 根据该分配调整模型，引导每个模型在其指定区域内进行去噪。
这一过程导致了一种新的复合去噪过程，伴随着分配过程的演变。我们在条件图像生成任务上评估了划分与去噪方法。根据多项质量指标，包括 GenEval 基准，我们的方法在性能上优于基线，并解决了常见的失败案例，如缺失对象和属性不匹配。实验表明，划分与去噪充分利用了每个模型的专业能力，而不忽视其他模型。
博主点评： 划分与去噪方法通过博弈论的视角有效协调多个扩散模型，展示了在处理复杂生成任务时的公平性与高效性。该方法不仅提供了新的理论框架，也为实际应用提供了有力支持，值得深入探讨其在其他领域的潜在应用。