摘要
尽管大型语言模型（LLMs）迅速发展，但其服务系统仍然面临内存密集和成本高昂的问题。关键值（KV）缓存在自回归解码过程中存储KV张量，对于实现低延迟和高吞吐量的LLM推理服务至关重要。本调查关注于服务LLMs的系统感知KV基础设施（简称sKis）。
我们从系统行为的角度重新审视近期的研究，将现有工作组织为三个维度：执行与调度（时间维度）、放置与迁移（空间维度）、表示与保留（结构维度）。此外，我们分析了跨行为协同设计的亲和性和行为-目标链接，强调未来的机会。
我们的工作系统化了这一快速发展的领域，为理解和创新现代LLM服务基础设施中的KV缓存设计提供了基础。
博主点评： 本文通过从系统行为的角度分析KV缓存，为大型语言模型的高效服务提供了新的视角，促进了相关研究的发展，为未来的优化方向指明了道路。希望能看到更多关于如何在实际应用中实现这些理论的深入探讨。