Hybrid LLM 将固定大小的递归记忆层 Gated DeltaNet（GDN）与 KV 缓存随上下文线性增长的全注意力层交错。我们首先验证，Qwen3.8-27B 中哪些 GDN 头会保留长时记忆，由模型权重决定，而非文档内容。随后，将 KV 条目的未来效用定义为：在模型自行生成的续写上，移除该条目导致的注意力输出变化量。实验发现，GDN 在预填阶段输出的写门、衰减系数和写入幅度能够在未看到查询前预测该效用。由于该关系分布在多个头和层之间，线性映射只能捕获趋势，难以恢复高效用尾部。为此我们提出 GateSight：为每个 GDN 头配备轻量级多层感知机（MLP），仅读取上述信号而不依赖注意力分数，学习非线性映射。MLP 预测的效用决定每层注意力缓存保留哪些 KV 条目；每层实际保留量由模型原生的注意力输出门控制，其均值在层间相差超过一个数量级。服务阶段，GateSight 在预填完成后对缓存一次打分，物理释放被判定为无用的 KV 条目。实验在 SCBench 与 RULER-4096 上使用 Qwen3.8-27B 以及稀疏注意力模型 Qwen3.8-Flash-Next，最高支持 262K token。结果显示，在仅使用十分之一注意力 KV 缓存的情况下，GateSight 在四组模型‑基准配对中有三组的准确率最高，且在全部四组上均优于 KVzip，提升幅度为 9.5~47.2 分。值得注意的是，完整上下文的推理开销与预填几乎相同，几乎没有额外负担。
点评