在大语言模型与人类偏好对齐的过程中，直接偏好优化（DPO）是一种有效框架，但在复杂推理任务中表现不佳。DPO优化的是生成偏好响应而非偏好响应的整体概率，缺乏对多步解决方案中各个子部分的反馈能力，这在推理任务中尤为重要。
现有方法在稳定偏好学习（如DPO变体KTO和RSO）或结构化推理（如ReMA的多智能体RL框架、思维树）方面表现出色，但未能将这些互补优势结合起来。
为此，我们提出了HiPO（层次偏好优化），这是DPO的扩展，能够将响应划分为推理段（查询澄清与上下文、推理步骤和答案），并计算每个段的损失作为DPO损失的加权和。
我们的方法允许进行段特定的训练，同时保持DPO的计算效率和训练稳定性。
通过在数学堆栈交流的偏好数据集上对多个7B LLM进行HiPO和DPO微调，我们展示了使用HiPO训练的模型在多种常见数学基准测试中表现优于其他模型，并在逻辑流畅性和一致性方面达到了更高的标准，这些均由GPT-4.1进行衡量。
博主点评： HiPO的提出有效地解决了DPO在复杂推理任务中的不足，通过层次化的方式进行偏好优化，不仅提高了模型的推理能力，还增强了其逻辑一致性。这一创新将对未来的语言模型训练产生深远影响。