摘要
微调大型扩散模型以适应新领域或风格时，面临一个权衡：提升目标特定生成能力往往会降低预训练模型的广泛生成能力。现有的全量和参数高效的微调方法通常只隐式处理这一权衡。
在本研究中，我们提出了一种新颖的源先验驱动选择性适应方法，以高效微调扩散模型，实现良好的权衡。我们的方法基于两个关键观察：
- 预训练参数的广泛生成能力损失在各参数之间高度不一致；
- 对模型广泛生成能力影响较小的参数在层和参数类型之间保持结构不一致。
基于这些观察，我们首先学习一个静态掩码，以明确识别更适合下游适应的参数，然后为所选子集构建结构化更新策略。实验表明，我们的方法在适应与保留权衡上优于现有强基线。
博主点评： 本文提出的源先验驱动选择性适应方法，针对扩散模型微调的挑战，提供了新的思路与解决方案。通过明确识别适应参数与结构化更新策略的结合，展现了在保留广泛生成能力的同时，如何实现目标特定生成的优化。此方法或将推动相关领域的进一步研究与应用。