直接偏好优化（DPO）是一种无需奖励模型即可对语言模型进行偏好对齐的主流方法。随着训练过程中偏好差距的放大，逻辑 DPO 损失对后续变化的敏感度会逐渐下降。我们从损失的几何视角出发，发现 sigmoid 系数实际上是一个学习信号，用来刻画目标函数的局部灵敏度。基于此认识，提出了学习信号控制的直接偏好优化（LSC‑DPO），通过在目标区间内动态调节学习信号，使训练过程保持在合适的灵敏度范围。进一步的对数空间分析给出了稳定跟踪目标学习信号所需的条件。实验在 AlpacaEval 2、MT‑Bench 与 Anthropic‑HH 三个基准上进行，结果表明 LSC‑DPO consistently 超越原始 DPO 以及其他强基线。我们还观察到不同的系数初始化会导致截然不同的瞬时学习信号轨迹，即使后期信号水平趋于一致。基于此现象，推导出一种信号预算补偿规则，用以在目标学习信号上做适配，从而显著降低不同初始化带来的性能波动。
点评