摘要
在面对长上下文工作负载时，大型语言模型的服务越来越受到KV缓存增长的限制。然而，现有的KV缓存压缩技术难以进行比较，因为它们是在不同的模型、任务、预算和服务栈上进行评估的。本文提出了一种基于工作负载的基准测试，涵盖了代表性的KV缓存优化机制，包括量化、剪枝和合并，如KIVI、TurboQuant、SnapKV和CaM。
基准测试内容
这些机制在使用Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3进行的多文档问答、单文档问答、少量学习和摘要工作负载上进行评估。基准测试测量了任务质量、平均输出吞吐量、首次令牌的平均时间和各上下文长度桶的实际压缩比。
主要发现
结果表明，仅依靠压缩比并不能有效预测端到端性能。KIVI4在各模型之间提供了最稳定的质量，SnapKV在长上下文吞吐量上表现最佳，而CaM在特定问答工作负载上取得了显著提升，但在质量和实际压缩比方面表现出显著的工作负载敏感性。这些发现促使我们在KV缓存机制的选择上进行更具工作负载意识的决策，而非采取一刀切的压缩策略，并为长上下文服务系统的部署提供指导。
博主点评： 本文通过系统的基准测试展示了KV缓存优化的多样性与复杂性，强调了针对特定工作负载选择优化策略的重要性。这一研究为未来的长上下文服务提供了宝贵的见解，值得关注。