随着语言模型参数规模的不断扩大，有效的模型压缩变得愈发重要，以减少其计算和内存开销。现有的压缩方法面临瓶颈问题：当压缩比率增加时，性能显著下降。低秩分解和量化是两种被广泛应用的压缩方法，已被证明能够在保持模型精度的同时显著降低大型语言模型（LLMs）的计算和内存需求。显然，结合这两种方法可以突破现有的压缩瓶颈。然而，这两种方法在结合时的相互作用仍然是开发者面临的关键问题，许多人假设它们是正交的，这意味着它们的结合不会引入超过各自单独引入的额外误差。本文提供了首个数学证明，表明低秩分解和量化并非正交。我们通过一系列关于大型语言模型的实验验证了这些发现。结果表明，这些方法是非正交的，其结合会导致显著的性能下降。重要的是，我们提出了一种新颖的方法——对角粘附方法（Diagonal Adhesive Method，DAM），可以有效结合这两种方法并减轻性能损失。我们的研究为模型压缩提供了深刻的见解，并为未来相关研究奠定了坚实的理论和实验基础。
博主点评： 该研究为压缩技术的进步提供了重要的理论支持，通过揭示低秩分解与量化的非正交性，推动了模型压缩领域的进一步探索。对角粘附方法的提出为实际应用提供了新的思路，值得关注与深入研究。