在在线自蒸馏（OPSD）中，教师提供密集的目标，但仅在学生采样的轨迹上评估。若特权教师在已访问前缀上更倾向于另一动作，OPSD 能给出分支决策的目标，却无法监督该动作产生的后续上下文，除非学生自行采样。这导致训练时的数据收集瓶颈，并暗示教师‑学生分歧的作用应是提出轨迹分支，而非仅提供局部修复。
我们构建了受控 token 干预的诊断框架，发现峰值分歧处教师偏好的 token 能提升学生后续生成的成功率，但其局部纠正价值有限。基于此观察，提出了简单的分支‑再生成‑蒸馏流程——轨迹干预自蒸馏（TISD）。TISD 强制执行教师选定的分支动作，随后让学生继续生成后缀，并在特权上下文条件下的教师模型上对完整轨迹进行蒸馏。
实验在代码生成模型上显示，TISD 在 Avg@4 上比 SDPO 提升 1.2%。在科学领域的实验中，等步数预算下 Avg@128 提升 0.8 点，等时间预算下提升 0.3 点。结果表明，教师引导的分支能够为自蒸馏提供有价值的后续上下文。
点评