摘要
键值（KV）缓存的增长是自回归解码中的主要瓶颈，因为内存和带宽随着上下文长度线性增长。现有的KV驱逐方法通常依赖于静态启发式或代理评分，这些方法在未来令牌的效用跟踪上表现不佳，导致随着相关性变化而产生脆弱的驱逐。为了解决这个问题，我们引入了KVpop，通过直接监督保留或丢弃的决策来学习固定预算的KV驱逐策略。评分器是针对一种新颖的未来注意力目标进行训练的，该目标能够高效计算，而无需生成密集的注意力图。
我们进一步引入了一种延迟基于记忆的评分器，与其他学习驱逐方法不同，该评分器将评分推迟固定步数，以利用近未来的上下文。在AIME和HMMT数学推理任务上，KVpop在75%的KV缓存压缩下保留了Qwen3-4B模型98%的全注意力性能，在88%的压缩下则保留了97%的性能，始终优于现有的驱逐基线。Qwen3-8B模型显示出更强的结果，接近于完整教师的性能。这些结果表明，通过未来注意力信号监督驱逐可以降低内存成本，同时保持质量。
博主点评： KVpop的创新在于其通过未来注意力信号来优化KV缓存的驱逐决策，这不仅提高了缓存效率，还保持了模型的性能。在自回归模型中，内存管理至关重要，KVpop为解决这一问题提供了有效的解决方案，值得关注和进一步研究。