自回归生成模型的 KV 缓存随序列长度、批量大小和模型深度线性增长，导致内存瓶颈。已有方法如 Multi-Query Attention (MQA)、Grouped-Query Attention (GQA)、Multi-Head Latent Attention (MLA) 和 Tensor Product Attention (TPA) 通过不同折中降低成本，但往往牺牲表达能力、需要额外的位置编码或强加低秩约束。\ \ 我们提出 克罗内克积注意力 (KPA)，将键和值表示为紧凑的、随 token 变化的矩阵因子的克罗内克积之和： $$K_i = \sum_{h=1}^{H} A_{i,h} \otimes B_{i,h}, \quad V_i = \sum_{h=1}^{H} C_{i,h} \otimes D_{i,h}$$ 其中 $\otimes$ 为克罗内克积，$H$ 为可调的头分割数。KPA 完全包含 TPA：当矩阵因子退化为向量时，克罗内克积化为秩一外积；而非退化的矩阵因子能够捕获更丰富的块结构。\ \ 为保持相对位置特性，我们设计了与克罗内克表示匹配的结构化 Rotary Embedding（RoPE）算子，仅对紧凑因子进行旋转，从而无需像 MLA 那样额外的 RoPE 分支。\ \ 实验在四种模型规模和九个下游基准上进行，训练条件保持一致。KPA 在准确率上匹配或超越 TPA、MHA、MQA、GQA、MLA，同时实现最高 10 倍的 KV 缓存压缩。克罗内克头分割是一个在设计阶段即可调节的超参数，帮助使用者在压缩率和精度之间自由权衡，无需改动网络结构。\ \ 点评：KPA 通过矩阵层面的克罗内克分解提供了比向量外积更强的表达力，并在保持相对位置不变性的同时显著降低内存占用，是对现有 KV 压缩方法的有力补充。