在强化学习中，稀疏的可验证奖励往往难以提供细粒度的学习信号。在策略自蒸馏的框架下，教师模型在参考解的条件下为学生的完整生成过程打分，并将产生的分布漂移蒸馏回学生策略，以期获得密集的 token 级别信用。我们首先检验这种打分信号是否真的包含纠错信息。通过在学生生成的推理轨迹中标注金标准错误区间，分别评估自蒸馏目标使用的完整分布 $KL$ 和 token 对数比两种信号，关注它们是否能够定位错误以及是否会降低错误 token 的概率。实验发现，这两种信号既不能准确定位错误，也无法在同一道题的正确与错误轨迹之间作出可靠区分，说明它们缺乏纠错能力。
我们认为这种失败是结构性的：在推理过程中定位错误本身是一种搜索任务，而仅凭评分教师并未被显式要求执行此搜索。相同的模型在获得同样的特权信息时，如果被要求先生成对当前轨迹的批评（critique），则能够显著提升错误定位能力。基于此，我们提出 批评条件自蒸馏：首先让模型生成对当前生成的批评，然后在该批评的条件下对教师进行打分。实验表明，这种信号能够在错误区间内定位错误、提供纠正，并将概率向能够触发回溯的 token（如 “Wait”、 “But”、 “Actually”）倾斜。
进一步的评估显示，批评在测试阶段同样有价值：在错误轨迹中加入批评后继续生成，可将模型原本通过采样无法解决的数学题转化为可解。与此同时，在冷启动的 GRPO 场景下，批评为那些仅靠可验证奖励无法提供信号的提示提供了额外的优势。
点评