摘要
长上下文语言模型推理越来越受到内存带宽和存储键值缓存所需容量的限制。现有的压缩方法通常在层或令牌之间应用统一的预算，导致在词汇线索和语义状态需要不同保留时的检索性能下降。我们介绍了DepthWeave-KV，这是一种令牌自适应的缓存压缩方法，它通过共享低秩通道基对相邻变换层的键和值状态进行因式分解，同时在注意力行为敏感的地方保留轻量级的令牌特定残差。
DepthWeave-KV结合了跨深度残差因式分解和令牌条件深度路由，后者为承载指令和关键检索的令牌分配更高的重构秩，并利用来自注意力输出探针的无标定在线误差跟踪，在生成过程中适应性地调整压缩，而无需重新训练基础模型。通过融合的CUDA实现，联合执行基准查找、残差去量化和注意力投影，以减少解码时间的内存流量。
在LongBench、Needle-in-a-Haystack、L-Eval以及长篇QA和摘要基准测试中，DepthWeave-KV在显著降低内存使用的同时，实现了接近全缓存任务质量，提高了平均评分和检索准确性，达到8.3倍的KV内存减少和在64K上下文下每秒72.8个令牌的速度。
博主点评： DepthWeave-KV的创新在于其自适应的缓存压缩策略，通过精细的层间因式分解与令牌特定的残差处理，极大地提高了长上下文处理的效率。这种方法不仅优化了内存使用，还保持了任务性能，为未来的语言模型推理提供了新的可能性。