[AI学术] AttSVD：基于注意力引导的自适应低秩 KV 缓存压缩

自回归 Transformer 的键值（KV）缓存随上下文长度线性增长，在长上下文场景下成为内存瓶颈。大多数无需训练的方案通过剔除低重要性 token 来减小缓存，但这在序列维度上是不可逆的选择。AttSVD 通过在“特征”维度上更经济地存储所有 token，避免了信息丢失。

AttSVD 的核心是基于每个提示的注意力几何在线计算的截断 SVD，只保留注意力实际读取的方向，从而按保留的秩比例削减每个 head 的持久 KV 内存。我们提出了两种解码时缓存策略：

• 累积模式 适用于短文本生成，缓存完整 KV 并在每一步累加；
• 流式模式 适用于长文本生成，按需更新并释放旧缓存。

为了让压缩更具适应性，AttSVD 进一步加入两项改进：

1. 矩阵能量规则 分别为 logits 空间和注意力质量分配能量，独立决定保留的秩；
2. 注意力感知基底截断 仅在注意力实际读取的子空间进行截断，既保留注意力 logits，又保持注意力输出不变。

这些机制还提供了每个 head 的可解释性信息，揭示有效秩以及注意力消耗的几何结构。实验在多模型、Agentic 基准以及完整的 LongBench 套件上进行，结果表明 AttSVD 在保持与密集缓存相当的性能的同时，KV 缓存占用最高可降至原来的 50%。

点评：AttSVD 通过注意力驱动的低秩分解，实现了在不牺牲信息完整性的前提下显著压缩 KV 缓存，为长上下文推理提供了实用且可解释的解决方案。