多教师在线蒸馏（MOPD）通过将多个领域专家的策略合并到同一个学生模型中，提升了跨任务的学习能力。然而，如何决定每位教师的监督强度仍是难点。传统的基于行为差异的分配方式会在学生已经达到或超过教师在任务上的表现时仍给出强监督，因为行为不匹配并不必然意味着能力不足。
我们提出了能力感知的多教师在线蒸馏（CA‑MOPD），在专家合并与能力引导分配之间建立联系，以考虑学生已掌握的知识。CA‑MOPD 首先将强化学习专家合并为一个强大的学生初始化，然后利用验证器估计的教师‑学生能力差距来调节域级蒸馏强度。随着能力差距缩小，监督力度下降；若检测到学生能力回退，监督力度会重新提升，同时教师仍提供密集的 token 级指导。
在涵盖数学、代码生成和指令遵循的六个基准上，CA‑MOPD 获得平均得分 32.22，分别比朴素 MOPD、Open‑MOPD 和仅合并初始化的方案高出 0.86、0.83 和 0.74 分。受控实验进一步证明，在相同训练预算下，合并初始化和能力差距引导均能带来显著收益。
点评