在LLM（大规模语言模型）服务中，关键值（KV）缓存已成为一种主要的内存对象，而不再仅仅是每个请求的临时张量。本文对三十多种KV管理系统和框架进行了分类，使用了四个维度：局部性、生命周期、所有权和底层结构。这些维度揭示了五种架构原型——本地分页、解耦管道、共享存储、内存池和混合层。
一旦工作负载和硬件固定，所有权在分布式系统的设计差异中占据了重要地位。此外，本次调查还审查了当前的评估方法，识别出七个缺失的KV特定测量指标，并将其与故障容忍、隔离、分层驱逐、推测解码、MoE服务和共享缓存语义等开放问题联系起来。
博主点评： 本文对KV缓存管理的深入调查为LLM服务提供了系统性视角，有助于理解不同架构的优缺点及其适用场景。尤其是在当前AI领域对高效内存管理的需求日益增加的背景下，提出的七个测量指标为未来研究指明了方向。