摘要
链式思维（CoT）蒸馏在推荐领域是强化学习训练的必要前置步骤，但原始的教师轨迹并不适合这一任务。大型教师在推荐任务中表现出异常高的推理不确定性，反复检查答案却不进行修正；在这些轨迹上进行监督微调会产生冗长的学生模型，且学生模型从未修正其初始猜测。此外，由于推荐领域的特殊性，教师的推理轨迹对于小型学生 LLM 来说高度分布外。
我们提出了学生感知的链式思维优化框架（SCOReD），该框架专为推荐任务量身定制，首先将每个教师轨迹解析为类型化段落，并利用学生 LLM 的注意力机制对每个段落的重要性进行评分。接着，SCOReD 根据输出长度和比较的对数概率提升动态选择每个段落的编辑操作（保留、重写、融合、修剪）。因此，SCOReD 可以修剪推理轨迹中冗余的部分，同时保留信息密集的部分，并将原始教师轨迹调整为符合学生输出分布的形式。通过在优化后的链式思维上进行训练，提供给学生模型更清晰的学习信号，相较于基线 SFT 提升了 1.56% 的 NDCG 和 1.9% 的 Recall@5，同时减少了 27.3% 的推理长度。
博主点评： SCOReD 框架通过精准的段落处理与动态编辑策略，显著提升了推荐系统的学习效率与效果，展现了在复杂任务中的创新潜力。其对推理长度的有效控制尤其值得关注，为未来的推荐算法优化提供了新思路。