随着大语言模型序列长度的增长，关键值（KV）缓存面临重大挑战。现有的最先进缓存驱逐方法主要分析成功检索推理情况下注意力头的推理行为，往往忽视了失败情况下的多样化行为，如偏差和干扰。这种忽视限制了利用异质头行为来提高驱逐性能的潜力。
受混淆矩阵的启发，我们引入了注意力行为矩阵，以全面分析成功和失败场景中的注意力头行为。通过最大化信噪比——在成功案例中增强有效推理路径，同时抑制失败案例中的偏差和干扰噪声——我们提出了基于检索推理和逻辑构建的（REAL）KV缓存驱逐方法，这是首个利用多行为分析的方案。
综合评估表明，REAL在各种模型和基准上表现卓越；特别是在 LongBench v2 上，其准确性与最强基线 HeadKV-R2 相当，同时占用空间减少了 32 倍。通过提供行为分析的新视角，我们为长上下文建模中从仅关注成功案例转向全面、关注失败的方案铺平了道路。我们的代码可在 GitHub 获取。
博主点评： REAL 方法通过关注失败案例的行为分析，显著提升了 KV 缓存的性能，展示了在长上下文处理中的创新潜力。这种方法不仅提高了效率，还为未来的研究提供了新的思路，值得关注和深入探索。