自蒸馏（self‑distillation）能够在无需额外更强教师的情况下提升推理能力，但其效果取决于自教师相对于学生的优势来源。传统做法往往通过参考答案或解法来提供这种优势，而在许多实际场景中这些信息并不可得。反思（reflection）可以从模型自行生成的尝试中提取错误诊断和修正指引，但现有方法通常仍依赖参考信息、丰富的任务反馈或跨示例记忆。
ReTeach 提出了一种纯粹基于自生成尝试和结果级验证的反思‑重试框架。流程从一次失败的学生 rollout 开始，教师在每一轮中交替执行显式反思并重新尝试，直至成功或耗尽重试预算。整个过程不使用参考答案、外部诊断或跨示例记忆。每一次失败的重试都会为后续的反思提供新的错误线索，而一次成功的修正则为教师上下文的潜在效用提供结果级证据。
框架引入了结果感知的样本选择与加权策略，将最初正确、经反思纠正以及仍未解决的样本分别归类，并对其归一化的蒸馏损失赋予不同权重。随后通过 on‑policy 蒸馏，使学生在自身 rollout 的前缀上匹配教师在相同前缀下的上下文条件化 token‑level 预测分布，从而在保持单次推理的同时传递迭代纠正的收益。
在六个覆盖数学推理、科学问答和工具使用的基准上，ReTeach 相比 GRPO 的平均准确率提升了 1.39 个百分点，验证了多轮反思‑重试在自教师构建中的有效性。
点评