跨模型 KV 缓存复用是大模型服务中的核心难题。编码代理和多模型系统常常需要在不同模型之间共享上下文，例如用户在会话中切换模型，或在级联系统中将难题上报给更强的模型。由于 KV 缓存保存的是模型特有的表示，切换模型通常意味着接收模型必须从头预填整个上下文。已有工作表明，同一家族的模型之间可以通过闭式线性映射将 KV 缓存转换，但当模型规模差距扩大时，转换精度会显著下降。
本文发现，这些转换失效主要集中在少数信息密集的 token 上。基于此，提出了 RaReCache 框架，使得大目标模型能够在由体积更小的源模型预填的缓存上进行高精度解码，只对关键位置进行选择性重计算。RaReCache 通过一种新颖的秩不一致度量来识别关键 token：该度量评估映射后 KV 在输出方向上与校准数据弱支持的能量大小，从而为每个 token 打分。
在两个模型家族和五个基准上进行实验。对于 23 倍参数差距（Qwen3‑0.6B → 14B），仅重计算 30% 的位置即可保留 95%‑99% 的目标模型精度；对于 8.8 倍差距（Llama3‑8B → 70B），重计算 40% 的位置仍能保持 96.5% 的精度。RaReCache 显著降低了对源模型规模的敏感性，预填速度提升最高达 3.04 倍。在线服务时，单 GPU 上的请求吞吐量是目标模型预填的 1.8 倍；在目标模型饱和负载下，使用 30% 重计算预算可将中位数和 99 分位的首 token 延迟（TTFT）分别缩短 5.0 倍和 6.4 倍。
RaReCache 为大模型服务提供了一种高效范式：小模型负责预填，大模型仅对关键 token 进行重计算，从而大幅降低预填延迟。
点评