知识蒸馏常用大规模推理模型（LRM）的原始求解轨迹作为监督，但这会导致蒸馏目标与教师轨迹性质不匹配。高级 LRM 通常通过奖励驱动的后训练（如 RLHF）提升推理能力，优化的方向是成为强求解器，而非生成易于小模型学习的推理过程。由于小模型的认知容量与大模型不同，直接模仿原始轨迹往往效果不佳且需要大量高质量样本。
为了解决这一矛盾，我们提出认知对齐推理蒸馏（CARD），它是一个基于强化学习的框架，直接将求解轨迹转换为符合学生认知的教学轨迹，避免了昂贵的重新采样。CARD 通过两类奖励进行优化：
- 分布对齐奖励，使学生的预测分布与教师的目标分布保持一致；
- 逻辑一致性奖励，抑制误导性的错误推理步骤。
在多个学生模型和设置下的实验表明，CARD 在同域任务上优于原始轨迹蒸馏，并在分布外任务上实现显著提升。代码已开源：https://github.com/LiteSSLHub/CARD。
点评