知识蒸馏（KD）在大型语言模型（LLMs）中的成功引起了广泛关注，但其背后的有效机制仍不明确。本文提出了一种统一的方法，通过交互作用探索不同KD方法的共同机制。
具体而言，我们将LLM的输出分数分解为多个交互的总和。每个交互代表了一个涉及一组输入变量（例如，单词）的非线性关系。基于这些分解的交互，我们发现不同KD方法的共同机制在于交互的稀疏化，即学生模型在推理时保留较少的交互，同时抑制其他交互的零效应。
此外，我们发现不同KD方法之间的性能差异源于它们处理复杂交互的能力。通常，如果KD方法使学生模型能够实现更高的复杂交互稀疏性，则性能会更好。基于这些见解，我们提出了一种即插即用的损失函数，称为复杂交互惩罚（CIP），以在蒸馏过程中显式地强制复杂交互的稀疏性。大量实验表明，集成CIP能在领域内和领域外基准上持续提高不同KD方法的性能。
博主点评： 这项研究深入探讨了知识蒸馏的内在机制，为理解大型语言模型的训练过程提供了新的视角。通过引入复杂交互惩罚损失函数，作者不仅为模型性能的提升开辟了新思路，也为未来的研究指明了方向。有效的交互稀疏化将成为改进模型的重要策略。