大语言模型在部署期间需要不断从交互经验中学习以提升性能。上下文蒸馏提供了一条可行路径：先从经验中提取特权信息供教师模型使用，再将教师的行为蒸馏到无法直接获取这些信息的学生模型中。现有的两种上下文蒸馏方式各有缺陷。离线（off‑policy）蒸馏让学生模仿教师生成的轨迹，导致曝光偏差；在线（on‑policy）蒸馏则在学生自己的回滚上训练，但这些状态往往信息量不足，难以传递学生尚未掌握的行为。为了解决这一矛盾，本文提出了局部上下文蒸馏（LoCD）。LoCD 首先定位学生轨迹中需要修正的关键片段，然后教师仅基于学生已有前缀重新生成这些片段，学生再在重新生成的片段上进行学习。该方法将学习重点放在最具信息量的状态上，同时保持低曝光偏差。实验覆盖数学推理、代码生成和智能体任务，结果显示 LoCD 在所有基准上均优于强基线，并且在参数更新更小、更稀疏的情况下实现了更稳定的训练。
点评