多头潜在注意力（MLA）已被最新的大语言模型采用。与传统注意力为每个头分别缓存键和值不同，MLA 只缓存一个压缩的 KV 潜在张量，在解码时上投影为键和值，同时使用一个窄的位置信息键将位置信息带入注意力得分。现有的 KV‑cache 量化方法基于标准注意力的键和值设计，未考虑 MLA 实际缓存的结构，导致低比特宽度下精度显著下降。
我们从激活分布和量化误差对注意力输出的传播两方面分析 MLA 缓存，发现两类缓存张量的作用不同：潜在张量主要提供值信息，而位置信息键主导注意力得分。基于此，提出了 RAQ-MLA（Role‑Aware Quantization for Multi‑Head Latent Attention Caches），为每个缓存张量拟合一个可逆变换，使其误差在注意力输出中最小化——对潜在张量最小化注意力加权的值误差 $\sum_i \alpha_i \Delta V_i$，对位置信息键最小化得分扰动。
RAQ-MLA 在无需额外训练的情况下，将完整的 MLA 缓存量化至约 2.5 位/元素，相当于理论 KV‑cache 容量提升 6.5 倍，并在四种 MLA 模型的推理与代码任务上保持几乎无损的表现。
点评