NeFut Logo NeFut
EN 管理员登录

[AI学术] 超越域路由监督:多教师策略蒸馏的跨教师守护

发布于:2026-10-12 22:00 最后更新:2026-10-13 00:57
#algorithm #Machine Learning #optimization

多教师 on‑policy 蒸馏 (MOPD) 在传统 on‑policy 蒸馏的基础上,引入域路由机制,将不同领域的数据分别送给专门的教师模型,并在学生生成的轨迹上进行密集的 token 级监督。\ \ 然而,域路由仅区分了监督的来源,所有领域的梯度仍然作用于同一套学生参数。当教师在响应风格和领域专长上差异显著时,单独有效的监督在联合优化时会产生持续的梯度冲突,导致学生能力退化。\ \ 为了解决这一问题,本文提出 跨教师守护 (Road MOPD)。核心思路是引入非路由教师作为跨域批评者,使用相同的学生轨迹计算辅助梯度,并通过两种机制协调多教师监督:\ \

  1. 跨教师引导的信用分配:利用教师之间的一致性来加强那些得到多位教师共同支持的 token 级纠正,同时削弱相互冲突的信号。\
  2. 预防性多教师梯度投影:在同一轨迹上计算辅助梯度,将潜在冲突的更新投影到与目标域学习信号不冲突的子空间,并根据冲突程度自适应调节投影强度。\ \ 实验结果表明,在冲突严重的设置下,Road MOPD 能显著缓解劣势域的性能下降,提升超过 5 个百分点;在冲突较低以及三域混合的场景中,整体性能也得到稳健提升。\ \ 点评:跨教师守护通过显式建模教师间的一致性与冲突,提供了一套兼顾多领域学习与参数共享的通用框架,为多教师蒸馏的实际部署提供了可行的解决方案。
原文链接: https://arxiv.org/abs/2610.13521

[h] 返回首页