本文讨论在蒸馏交互式 LLM 代理时，教师演示与学生经验对应的离线（off‑policy）和在线（on‑policy）选择实际上是两层层级的区别。交互历史由某一策略产生，而当前动作的 token 前缀可以由另一策略生成。我们提出层级蒸馏框架，形式化这两层“on‑policy”程度，并可以显式控制它们的配对方式、混合比例以及训练进度。
实验采用自蒸馏设置：冻结的教师拥有学生不可得的任务指导，分别在三种模型和四个交互环境中进行三阶段对照实验。结果显示，学生产生的历史配合教师生成的动作前缀通常提供最强的单一训练信号；而在两层都完全跟随学生的配置表现最差。完全在线的数据在与其他配置混合时能够提升性能。即使教师/学生在两层的比例相同，不同的配对方式仍会导致显著差异，说明配对方式比整体在线数据量更关键。进一步的实验表明，前期使用全部教师生成的上下文、后期再引入完全在线的上下文，比固定比例的混合更有效。上述发现为在何处、多少以及何时让蒸馏过程跟随学生提供了实用原则。
点评