长上下文服务在 KV 内存耗尽前已达硬件吞吐上限。HiSparse 将历史存于主机内存，仅获取选中条目，但在每个负载下使用固定缓存预算，且不支持 DSpark、DFlash2 等草稿模型的投机解码。我们提出 Adaptive DHiSparse，能够在层次稀疏 KV 上进行投机解码并随负载自适应驻留。它在 GPU 内存空闲时保留额外历史，必要时通过精确融合检索恢复其余部分。DSpark 与 DFlash2 的提案与接受规则保持不变：查询共享缺失行检索，草稿 KV 使用窗口限制环，验证分阶段在层组间复用。实验在 100K 上下文、并发 128 时，GLM‑5.3 搭配 DFlash2 达到每解码 GPU 793 token/s，分别比 HiSparse 提升 1.45 倍、比非投机自适应服务提升 1.27 倍。延迟保持与 HiSparse 相同，吞吐可达 4 倍并发，输出提升 2.3‑3.7 倍，取决于每 token 限制。DeepSeek‑V4.1‑Flash 在 500K 上下文、并发 512 时，配合 DSpark 的输出是常驻服务的 1.85 倍。负载阶段，可选驻留将主机抓取率从低负载下的 14.2% 降至 1.4%，并在压力增大时释放内存。
点评