使用大语言模型（LLM）为另一模型生成训练数据是最通用的训练方式之一，仍被广泛采用。部分前沿团队对自家模型关闭了此渠道，只返回答案或简短摘要，而不提供详细的推理过程，这与它们本身是通过蒸馏人类知识构建的形成讽刺。已有工作通过在模型间回放加密块来恢复隐藏的推理，虽能奏效，却违背服务条款，难以长期产品化。我们提出了另一种方案：以上下文和教师答案为输入，直接生成学生模型家族风格的推理链。训练分为监督阶段和对抗阶段，生成器学习从上下文和答案重构该家族的推理，判别器学习判断推理的真实性。对教师答案进行生成时，生成器输出符合家族风格的推理链。独立评审者对真实性进行打分，生成的平均得分为0.68，真实推理为0.66，判别器挑选的四候选中最高得分为0.82，这些分数衡量的是可信度而非正确性。我们在五个基准上保持其他条件不变进行测试：在通用任务上五套训练语料表现相近；在代码任务上，生成的推理超越了 Fable 5 的自有思考内容。使用相同的 5,000 条问题和教师答案，HumanEval+ 提升了 3.7 分，MBPP+ 提升了 7.1 分，且在每个检查点 MBPP+ 的领先优势均保持。我们推测，学生家族风格的推理更易于模型学习。
点评