反馈噪声在偏好数据中普遍存在，来源于主观判断、标注错误以及不完美的 LLM 判别器。直接在这些噪声数据上训练奖励模型会得到对真实风险的偏置估计。传统去噪方法通常假设噪声比例在所有样本上均匀，但在偏好数据中噪声是样本相关的。为了解决这一问题，本文提出 CleanRM。CleanRM 只需要少量干净的偏好对，通过最优传输估计每个样本的噪声比例，并将噪声反馈的联合分布对齐到干净反馈的分布。随后在校正后的代理损失上训练奖励模型。理论上我们证明该目标在期望上等价于对干净风险的无偏估计。大量实验表明，CleanRM 超越了现有的去噪基线，并在下游 RLHF 对齐任务中取得更佳效果。
点评