摘要
文本到图像（T2I）扩散模型常常传播从训练数据中继承的有害偏见。现有的偏见缓解技术通常只在文本编码器上干预或提供推理时指导，这往往导致生成的结果在语义上不连贯。为了解决这些局限性，我们提出了CO-ALIGN（概念本体对齐），这是一种基于概念图对齐的新型偏见缓解方法，作用于模型的内部概念本体。
通过在文本编码器和去噪器之间对齐概念，CO-ALIGN实现了显著的偏见减少，同时保持了生成的完整性。我们展示了概念图对齐在三种范式下的有效性：文本编码器、去噪器和联合文本-去噪器本体对齐。CO-ALIGN在偏见公平性上提高了30%，图像质量提升了$\text{FID} = 11.4$，图像保真度提高了2.8%，同时减少了88%的语义不连贯输出。
除了偏见缓解之外，我们还展示了CO-ALIGN对其他下游任务的益处。特别是，我们的实验表明，内部本体的更好对齐增强了跨多种去学习技术的概念去学习鲁棒性。
博主点评： CO-ALIGN方法通过概念图对齐有效地减少了偏见，并在多个指标上超越了现有技术，为T2I模型的公平性和生成质量开辟了新局面。这种方法不仅增强了模型的鲁棒性，还为未来的研究提供了新的思路，值得关注。