块扩散语言模型在生成过程中会维护一个巨大的键值（KV）缓存，并在每个去噪步骤中全部参与注意力计算，这导致内存占用和生成速度受限。为降低这些成本，需要在当前块的去噪时决定使用哪些历史 token（选择），以及哪些 token 需要保留供后续块使用（驱逐）。
我们提出 MaskAhead，一种无需额外训练的方案，使用单一的 mask‑query 排序机制同时完成选择和驱逐。具体做法是：利用当前块的掩码对 KV 条目进行打分，估计其对注意力输出的贡献，从而实现选择；对即将到来的掩码块进行探测，同样依据贡献度对 KV 条目进行排序，以决定驱逐对象。
我们进一步提出量化版本 Q‑MaskAhead，直接在低位 KV 上计算选择和注意力，保持大部分被选条目。实验在 Fast‑dLLM‑v2、DreamReasoner 和 LLaDA2.0‑mini 上进行，涵盖长文本推理、长提示问答和针刺检索任务。结果显示，在长提示问答任务中，MaskAhead 将 KV 内存平均压缩 $9.5\times$，仅导致平均 F1 下降 1.2 分；Q‑MaskAhead 将压缩率提升至 $20.1\times$，F1 下降 2.3 分。在 batch‑32 系统评测中，MaskAhead 相比密集推理实现了 $1.23\times$ 的整体加速和 $1.68\times$ 的解码阶段加速。
点评