On‑policy self‑distillation（OPSD）让语言模型在同一模型实例化的 Teacher 的指导下学习，Teacher 能够访问特权信息（如参考答案）。充分的特权信息可以让 Teacher 生成高精度的解题轨迹，但仅有精度并不足以保证学生能够有效学习。直接使用完整答案往往导致 Teacher 生成简短、依赖参考的推理，缺少探索、验证和自我纠正的过程，这对没有特权信息的 Student 不利。
为了解决上述问题，本文提出 TeachBack——一种双向偏好学习框架。TeachBack 在生成时通过控制注入提示中的参考‑推理后缀长度以及改变提示风格，来塑造 Teacher 的行为。这样在保持 Teacher 精度的同时，鼓励其进行更充分的探索并重新求解问题，从而降低对参考答案的依赖。
在每一次 rollout 刷新时，共享的策略同时生成两条轨迹：一条带有特权信息的 Teacher 轨迹和一条仅含问题的 Student 轨迹。随后使用成对偏好目标：利用特权 Teacher 轨迹提升 Student 学习；同时将 Student 的行为作为反向偏好，指导未来在特权条件下 Teacher 的监督方式。
在数学推理和逻辑推理任务上的实验表明，TeachBack 在 Student 性能上持续超越现有 OPSD 方法和相关基线。
点评