On‑Policy Self‑distillation（OPSD）是一种自我提升范式，模型在不同条件下同时充当教师和学生，从而提升自身能力。实验发现，随着优化进行，先前能够正确回答的查询会出现错误，即使整体性能仍在提升。这种能力退化与隐藏层表示的几何结构恶化同步表现为簇内紧凑度下降、簇间分离度减弱。为此我们提出 表示几何正则化（RGR），在后训练阶段通过约束同类样本的表示更紧凑、不同类的表示更分离来保持几何结构。RGR 只需在损失函数中加入额外项，可直接嵌入现有 OPSD 方法而不改变其核心优化流程。我们在多个 OPSD 方法和基准上进行广泛实验，结果表明 RGR 能显著减轻能力退化，同时保留性能提升。代码已开源于 https://github.com/supermachinelearner/RGR。
点评