On-policy 蒸馏（OPD）在学生生成的轨迹上提供教师监督，但每条轨迹在每个决策点只能实现一次延续，导致在有限采样预算下监督覆盖受限。我们提出 BranchOPD（分支式在线蒸馏），通过学生不确定性和教师‑学生分歧挑选信息量大的决策点，利用共享前缀重新采样学生策略的后续，并对主轨迹和分支都施加 token 级别的教师监督。BranchOPD 在数学任务的 token 级决策和智能体任务的回合内决策均可使用。共享前缀的复用使得在 ALFWorld 上的学生生成 token 成本降低约 19%，在 WebShop 上降低约 31%，相较于独立生成的七条轨迹。我们还引入协议边界修复（PBR），在协议约束下进行有针对性的监督，以缓解重复和无效生成。实验表明，BranchOPD 在所有基准上均优于 Vanilla OPD 和 Multi‑Rollout OPD（n=7），在 16 次采样答案的平均数学准确率（avg@16）上比 Vanilla OPD 提升 18.55 个百分点，在 ALFWorld 的 ID/OOD 成功率上提升 13.8 个百分点。机制分析和选择消融实验显示，在不确定决策点进行分支能够扩展后续行为覆盖，优于随机选择和回合起始分支。
点评