摘要
后训练量化广泛应用于资源受限环境下的大型语言模型部署，但其评估几乎完全依赖于准确性和困惑度。这些指标未能捕捉到量化引起的行为变化。我们提出了正确性一致性这一决策级指标，用于衡量基础模型与其量化变体之间正确预测的重叠程度，而不依赖于绝对准确性。
在多种模型和量化方案（从8位到2位）下，我们发现，即使任务性能似乎得以保留，适度量化下行为上的差异依然显现。为了解释这一现象，我们将量化分析为对注意力权重的结构性操作，并利用统计和分布度量量化层级扭曲。我们的结果揭示了在低位宽下的非线性断点，并表明查询和键的投影对变化的敏感性始终高于值和输出的投影。这些发现揭示了基础模型与量化模型之间等效性的幻觉，并推动了超越传统性能指标的行为评估。
博主点评： 本文通过引入新的评估指标，挑战了传统量化模型评估的局限，强调了在量化过程中可能出现的行为偏差。这一研究为未来量化技术的优化提供了重要的理论基础，值得研究者关注。