量化和剪枝是降低大语言模型部署成本的常用手段，但它们的影响通常只用基准分数来报告。基准分数只能捕捉输出层的残余损失，却忽略了模型内部不同组件受到的损伤程度以及网络其余部分的补偿行为。实际的损失是损伤与补偿的综合结果，这两者在基准分数中难以区分，也不清楚它们的比例是否随模型规模而变化。
本文聚焦于上下文检索能力，这一能力主要由少数可辨识的注意力头承担。为了解耦损伤与补偿，作者将对这些注意力头的消融导致的期望损失进行精确分解：一部分由网络其余部分恢复，归因于具体的补偿组件；另一部分直接传递到输出层。随后将该分解在不同规模的模型上进行比较。
实验结果显示：在损伤幅度相同的情况下，小模型能够恢复大部分损失，而大模型则保留了大部分损失。也就是说，随着模型规模增大，网络的补偿响应相对减弱。对注意力头的压缩同样呈现相同的趋势——在小模型上几乎无害的压缩，在大模型上可能导致显著性能下降。
这表明，压缩技术在大模型上可能比在小模型上更具风险，需要在实际部署时重新评估其成本效益。\n\n点评