我们提出了 D2PO（动态直接偏好优化），这是一个旨在优化扩散采样策略的框架，涉及时间步调度和无分类器引导（CFG）权重。现有的学生-教师回归框架存在一个基本局限性：低-NFE 学生采样器被训练成模仿高-NFE 教师，常常牺牲高频纹理的保真度，同时保留粗糙的全局结构，从而导致采样器与感知质量的错位。D2PO 通过将采样器优化重新表述为一个基于偏好的对齐问题来解决这一挑战，利用直接偏好优化（DPO）框架。
为了使 DPO 适用于扩散采样器，我们将采样策略建模为一个基于能量的模型（EBM），将偏好比较转化为可处理的能量差异。我们进一步引入了一种新颖的能量公式，直接源自预训练的评分网络，使得在扰动空间中能够进行偏好评估，同时捕捉结构一致性和细粒度细节。此外，我们引入了动态偏好，随着采样策略的学习，用于对齐的优选样本逐步改进。这一自我提升机制用迭代的、以偏好为指导的细化过程替代了僵化的静态教师监督，从而提供了逐渐增强的对齐信号。
大量实验表明，D2PO 更加忠实地将扩散采样器与感知质量对齐，充分释放高质量教师的潜力，并在低-NFE 约束下始终优于传统的基于回归的调度器。
博主点评： D2PO 框架通过动态偏好机制有效提升了扩散采样器的性能，解决了传统方法在高频细节上的不足。它的能量基模型设计不仅创新，也为未来的采样器优化提供了新的视角，值得深入研究与应用。