自蒸馏是一种在缺乏外部教师时提升推理模型性能的手段。传统方法往往依赖特权信息来构造更强的自教师，这在仅有未标注提示的场景下难以实现。本文提出弱化诱导在线自蒸馏（WISD），其核心思路是先生成原模型的弱化版本，再利用两者之间的差异作为训练信号，完全不需要特权信息。我们探索了两种弱化手段：低位宽量化和幅度剪枝。实验在多种模型架构和规模上，覆盖数学推理与代码推理任务。量化提升平均准确率约 4.0%，剪枝提升约 5.5%，在所有基准上均实现了最新水平。具体而言，剪枝将 Qwen3.5‑4B 在 HMMT 2025 上的准确率从 57.7% 提升至 70.5%，在 LiveCodeBench v6 上从 39.1% 提升至 56.7%；量化将 Qwen3.6‑35B‑A3B 在同两套基准上分别提升至 74.6% 与 69.5%。这些结果表明，WISD 是一种新颖且高效的大规模推理模型自蒸馏框架。
点评