训练模型使用自身输出已成为提升 AI 能力的热门方向，其中自蒸馏让模型在获得额外上下文（如提示、反馈或指令）后匹配自身的 token 级预测。然而，这种训练的安全性尚未得到系统研究。本文揭示了一种意外的安全失效：在递归自蒸馏过程中，每一代自蒸馏模型都会成为下一轮的教师。我们发现，当安全模型在自身（安全）生成上递归自蒸馏，并附加一个非有害提示时，模型在一系列有害查询上的对齐程度会逐步下降，这一现象被称为渐进错位。实验在 Qwen3 与 Phi‑4 系列模型上使用 SORRY‑Bench 与 StrongREJECT 进行验证，均出现相同趋势。进一步的实验将固定提示替换为具有良性意图的模拟用户反馈，仍然观察到相同的错位趋势。通过梯度搜索，我们还能找到看似无害的提示，使递归自蒸馏过程同样触发渐进错位，说明并非必须使用有害训练提示才能出现该问题。我们的工作呼吁社区深入探讨递归利用自身数据进行训练的 AI 系统的安全属性。
点评