在基于纠正流的生成模型中,神经网络被训练以预测瞬时速度或数据端点这两种不同目标,以进行去噪。尽管先前的研究表明这些参数化导致不同的经验行为,但它们各自优势背后的机制仍未得到充分探讨,如何有效结合它们也尚不清晰。
本文分析了不同参数化的学习误差如何影响生成性能。我们表明,预测数据端点具有明确的训练信号,有助于稳定训练,而预测速度则保持了接近数据流形的稳定采样动态。
基于这些见解,我们提出了自一致流(SC-Flow),一种统一两种参数化优势的新方法。通过采用轻量级一致性损失,SC-Flow联合训练一个网络以同时预测局部速度和数据端点,两者预测之间的一致性提升了模型性能。
该方法无需重大架构变更,且增加的计算开销极小。在图像生成任务上的大量实验表明,SC-Flow显著稳定了优化过程,并改善了生成路径的直线性,导致生成质量较标准纠正流基线有显著提升。
博主点评: 自一致流(SC-Flow)方法通过联合训练局部速度和数据端点,展现了在生成模型中的创新性。其轻量级的一致性损失设计有效提升了模型性能,值得在更多领域进行探索和应用。