长上下文推理是大语言模型（LLM）的关键需求，但会导致计算瓶颈。哈希检索通过将查询和键编码为二进制码并使用汉明距离挑选键，提供了高效的替代方案。然而，汉明距离只衡量二进制相似度，忽略了特征幅度，导致查询‑键对数值（logit）与哈希匹配出现偏差，出现低logit键的误检和高logit键的漏检。
为了解决上述问题，本文提出层次哈希检索（HHR），采用粗到细的两阶段框架。第一阶段是几何感知键路由（GKR），它为每个注意力头学习正交变换 $W_h$，重新分配特征幅度，从而得到更具区分性的页级logit上界 $b_{h,p}$，实现对低logit键的有效剪枝，同时保留重要候选。第二阶段是学习哈希投影（LHP），为每个头学习投影矩阵 $P_h$，使得二进制码的汉明距离与真实的查询‑键相关性排序对齐，完成细粒度检索。
GKR 与 LHP 的组合显著抑制了误检并恢复了漏检，使基于哈希的稀疏注意力在保真度上得到提升。实验在多种 LLM 与基准上验证了 HHR 的优势：在 LongBench 上平均提升 1.10 分；在 128K 上下文长度下，Llama-3.1-8B-Instruct 的解码速度提升至 3.30 倍，端到端加速 2.83 倍。代码已开源：https://github.com/lianjunl13-sudo/HHR。
点评