头维度压缩可以降低 KV 缓存的内存占用，但多数方法在推理时需要重建全维表示，导致解码 FLOPs 大幅增加。我们在校准集上 formalize 了将预训练注意力直接转化为低维形式的设计要点，以同时削减 KV 缓存存储和注意力计算。具体考虑三点：① 对 query 与 key 施加共享投影，使其仍位于同一低维特征空间；② 投影由 query 与 key 的激活共同推导，以更好保留交互信息；③ 投影需兼容预训练的 RoPE 变换。为实现无重建的压缩，我们将投影限制为坐标选择，并证明仅在完整的 rotary 对保留时 RoPE 兼容性成立。基于此特性，RACE 通过联合 query‑key 激活能量挑选 rotary 对。理论上该准则最小化了一个可分离、依赖校准的上界，从而降低 RoPE 后的 query‑key 乘积近似误差。最终的低维投影直接折叠进模型权重，无需运行时重建或专用 kernel。实验在三类模型和多种压缩比例下显示，RACE 超越结构化剪枝，并在语言建模、零样本和长上下文任务上与基于重建的方法保持竞争。以 50% KV 缓存保留、256K 上下文为例，RACE 将总推理 FLOPs 降低 47.8%，实现 1.79 倍吞吐提升，TTFT 降低 43.2%，GPU 分配内存降低 28.1%。
点评：RACE 在保持模型性能的同时显著削减算力和内存开销，提供了一条无需额外运行时实现的实用压缩路径。