摘要
自我蒸馏是语言模型自我提升的有前景的方法。在这种设置下，一个模型可以在获得特权信息（例如数学问题的解决方案）时充当自己的教师。对于思维模型而言，这尤其吸引人，因为它们可以利用测试时推理来吸收特权信息。
然而，我们意外地发现，特权自我蒸馏会在长推理轨迹上削弱思维模型的表现：在五个 Qwen3 和 OLMo 思维模型的评估中，特权上下文蒸馏在 AIME24、AIME25 和 HMMT25 上造成了高达 17% 的 avg@16 准确率相对下降。该降幅与 withheld 的特权上下文量成正比，并在长推理预算下最为明显，此时思维模型原本可以获得最大的提升。
这一失败模式并非特定于自我蒸馏：在政策蒸馏（OPD）中，思维模型的表现得到了改善，但特权 OPD 却逆转了这些增益。我们的诊断将这一失败模式归因于特权教师上下文如何在高熵分叉位置重塑学习，多个推理路径依然可能并导致不同的推理结果。特权上下文降低了思维模型推理中的分叉率，但在指令模型推理中却没有这种效果。
这导致了一个有趣的二分法，特权上下文可以帮助经过指令调优的模型，但对更强的思维模型却产生了负面影响。当学生开始自我修正分支时，这一效应尤为明显，特权 OPD 对采样的重新考虑标记施加了惩罚，而普通 OPD 则对此支持。经过特权教师训练的思维模型产生的验证、回溯和犹豫标记更少，即使在长度归一化后也如此。这些发现表明，针对强思维模型的自我蒸馏需要关注标记级别的信号，特别是在修正和推理步骤周围。
博主点评： 本文深入探讨了自我蒸馏在思维模型中的复杂性，揭示了特权上下文的使用在不同模型中的影响差异，强调了在推理过程中的细粒度信号对于模型性能的重要性。