大型语言模型有时会生成与提供上下文不符的流畅答案。通过读取上下文和另一模型的回复，即使该生成模型是闭源的，紧凑的冻结代理模型也能检测出这些幻觉。基于注意力的检测器利用代理模型注意力权重的汇总统计，但传统做法需要显式构造注意力矩阵，导致内存随序列长度呈二次增长。我们在 FlashAttention 计算过程中直接累加统计量，或在其后进行稀疏查找，亦或对得分矩阵进行第二次分块遍历，从而在不生成完整注意力矩阵的前提下得到所需统计，并将其划分为几乎无开销和稍有开销两类。
实验在 H100 上进行：五个已发表检测器的统计信息在 2K token 时仅使 Qwen3‑8B 前向传播延迟增加 16%，在 35K token 时降至 1.4%，且每个响应 token 只需存储 22.5 KiB。我们在三个基准上使用冻结的 Qwen3 代理（参数规模 0.6B‑8B）进行探测，结果显示：4B 代理在两项基准上 F1 超过九个 4‑9B 零样本 LLM 判官的最佳表现；这些代理的检测能力与或优于参数最高 7B 的专用 grounding 检查器；对每个代理进行探测的效果均优于直接将其作为判官进行提示；在 12 组 基准‑代理 配对中，加入注意力特征在一半情况下显著提升 F1，且从未出现显著下降。
总体来看，利用 FlashAttention 的统计累加实现了低开销的幻觉检测，为实际部署提供了可行的路径。点评