扩散模型（DM）在高保真、可控生成方面取得了显著进展，遵循了大型语言模型（LLM）中“预训练‑微调”的范式。然而，传统 DM 在复杂推理、生成路径的自主探索以及对人类对齐目标的适应性方面仍存在局限。受 RLHF 在 LLM 中成功的启发，强化学习（RL）被提出作为后训练手段，通过奖励驱动的轨迹优化迭代提升 DM 的生成质量。本文系统回顾了 RL 驱动的 DM，并通过实验分析了 RL 如何将扩散过程转向以经验为中心、以目标为导向的生成。我们绘制了技术全景，阐明了 RL 在语言、跨模态、机器人和科学模型中的多重角色，重点关注扩散轨迹优化和奖励工程。大量实验在多个任务基准上评估了代表性方法，直观展示了不同 RL 后训练策略的优势。进一步，我们剖析了阻碍 RL‑DM 实际部署的三大瓶颈：奖励设计脆弱、在高维生成空间中的探索‑利用权衡、稀疏奖励下的训练不稳定。基于这些洞见，本文提供了将 RL 融入 DM 的原则性路线图，并展望了构建鲁棒、可解释 RL‑扩散系统的未来方向。相关代码与最新进展持续更新于公开仓库：https://github.com/MAIR-Lab-HUST/Awesome-RL-for-Diffusion-Models。
点评