木兰语言模型通常在推理任务中失败，尽管它们具备解决这些任务的能力。我们认为，这些失败往往源于中间步骤中的局部推理缺陷，而不是整体的无能为力。我们展示了这些缺陷通常可以修复：在强模型的推理前缀之后插入由弱探测模型生成的短补丁，可以将轨迹重定向到正确的解决方案。然而，这种纠正效果并不能通过直接在弱补丁或修复轨迹上进行微调来可靠地内化，表明有用的信号不在干预文本本身，而在于它如何重塑模型的未来推理分布。因此，我们提出了啄木鸟蒸馏法，一种弱到强的训练框架，它从对比的局部干预中学习。我们的方法对比了相同前缀下的成功和不成功的弱模型补丁，构造了它们诱导的未来令牌预测的纠正教师分布，并将这个信号蒸馏到强模型中。在数学推理基准测试中，实验表明啄木鸟蒸馏法一致地提高了强模型的性能，并且优于直接模仿基准。
博主点评： 啄木鸟蒸馏法为改进强大语言模型的推理能力提供了一个新颖的视角，通过弱模型诊断强模型中的局部推理缺陷，并利用对比学习来提高强模型的性能，这种方法对语言模型的发展具有重要的参考价值。