持续后训练需要同时解决获取新能力和保持已有知识的双重难题。传统的自蒸馏微调（SDFT）通过上下文示例实现自监督，能够在大模型上取得不错效果，但它依赖强大的上下文学习和指令遵循能力，导致在低延迟、设备端使用的较小模型上失效。
我们首先分析了失效根源，发现模型在后训练过程中的获取能力下降和遗忘程度与其分布偏移呈线性关系，说明必须在分布内进行学习。基于此提出 Synthetic Self-Distillation（SynthSelf）：利用同族的稍大对齐模型生成高质量的在分布内改写示例，再交给小模型学习。为防止分布破坏，加入离策略监督和拒绝采样机制，确保监督信号既准确又符合原始分布。
在四个获取数据集（含混合数据）和十四个保持基准上进行评估，SynthSelf 在三种小模型规模上始终优于六种对比方法（包括离策略和在策略蒸馏）。进一步的消融实验表明，分布内改写、离策略监督和拒绝采样是提升效果的关键因素。
综上，SynthSelf 为小模型的持续学习提供了一条可行路径，突破了传统自蒸馏在小模型上的局限。
点评