在人类反馈强化学习（RLHF）领域，扩散模型的应用面临反馈效率低下的问题。传统方法通常需要大量人类或奖励模型的评估，限制了其在实际应用中的可行性。本文提出了两种互补策略，以显著提高扩散RLHF的反馈效率，同时保持对未见提示的泛化能力。
首先，我们观察到扩散轨迹中的奖励信息分布不均，并非所有去噪时间步或轨迹对学习都有同等贡献。为此，我们在优化过程中强调信息丰富的时间步和轨迹，从而获得更有效的梯度更新。我们引入了一个逐步加权方案，在策略优化时对去噪步骤进行重新加权。理论上，我们将这一加权与近端策略优化（PPO）的最优收敛特性联系起来，并通过实证方法近似得到加权趋势。
其次，我们提出了一种重放机制，优先考虑信息丰富的轨迹，使模型能够重用过去的样本，而不是反复查询新的奖励。这两种策略结合在一起，显著提高了扩散RLHF的反馈效率。在相同的超参数设置下，我们的方法相比广泛使用的扩散RLHF基线实现了多达6倍的样本效率提升。
博主点评： 本文通过创新的加权和重放机制，解决了扩散RLHF中的反馈效率问题，展示了在实际应用中提升样本利用率的潜力，为未来的研究提供了重要的思路和方向。