摘要
长上下文 LLM 推理的内存和带宽成本日益成为限制因素，然而，激进的压缩可能会移除检索和多步推理所需的层特定证据。我们提出了 FreqDepthKV，这是一种在推理时进行缓存压缩的方法，它将相邻层的 KV 状态分解为共享的低频深度组件和稀疏的高频残差。一个轻量级的在线探测器根据注意力头对重构敏感的注意力 logits 的贡献，将它们分配到共享深度、残差深度或精确缓存模式，使得压缩策略能够适应提示结构，而无需重新训练。
在长上下文问答、针检索、摘要生成和代码生成基准测试中，FreqDepthKV 在显著减少缓存预算的情况下保持了任务的准确性。在 32k-token 的预填充窗口下，FreqDepthKV 达到了 58.3 的精确匹配率、63.0 的 F1、32.5 的 ROUGE-L 和 48.1 的 pass@1，接近完整的 KV，同时优于先前的压缩缓存方法。它还将解码吞吐量提高至 70.4 tokens/s，减少 TTFT 至 2.06 秒，并将峰值 KV 内存降低至 6.2 GB，实现了 3.9 倍的有效压缩比。
博主点评： FreqDepthKV 的提出为长上下文 LLM 推理中的缓存管理提供了创新的解决方案，其频率引导的深度共享机制有效平衡了压缩率和推理性能，展示了在高效计算与准确性之间的优雅平衡。此方法无疑为未来的 LLM 应用提供了新的思路，尤其是在资源受限的环境中。