大型语言模型在复杂推理上取得显著进展，但在后训练阶段使用更大语料会显著提升成本，却未必带来等比例性能提升。本文探讨在不损失能力的前提下，如何最大程度压缩推理监督。我们提出一种不确定性引导的渐进收缩框架，将监督和优化聚焦在最有价值的推理轨迹上。具体做法是：不再把教师生成的思考链（CoT）视为单一路径，而是在中间推理状态周围构建 Monte Carlo 推理树，形成不确定性画像。该不确定性首先将原始语料收缩为教师指引的紧凑池；随后在 SFT 过程中，根据学生的学习状态进行在线路由，实现学习者感知的二次收缩。两阶段共同逐步收缩监督与优化，从而大幅降低学生的训练预算。实验在多种推理基准和 LLM 系列上验证，方法仅使用全数据 SFT 0.22% 的优化预算，训练曝光降低超过 450 倍，且推理性能保持或提升。框架在不同学生族群、黑盒教师以及弱到强的迁移场景中均表现出良好泛化，表明它不仅加速训练，还能增强推理能力。
点评