LLM调度在服务中至关重要，但现有设计在智能代理服务中的适用性仍不明确。智能代理的请求方式改变了工作负载：
- 代理仅在收到完整响应后行动，使集群的每秒令牌数（TPS）成为主要目标，同时放宽每个令牌的延迟要求。
- 请求之间的KV重用率在BAILIAN的生产跟踪中超过80%，而在聊天中为54-62%。
本文首先对基于两个真实世界跟踪的智能代理请求调度进行了系统研究。研究发现，现有调度器过于优先考虑将请求路由到缓存其KV的实例，导致一些实例过载而其他实例闲置，从而限制了TPS。为此，我们提出了两个关键见解：
- 负载平衡不必牺牲所有KV重用，得益于全球层KV存储。
- 通过利用工作负载的会话内部局部性，平衡少量请求（每个代理会话的第一个请求）就足以在不牺牲大部分KV重用的情况下平衡集群。
SMETRIC通过平衡会话中心调度实现这些见解：它仅为负载平衡路由每个会话的第一个请求，而后续请求则采用缓存感知的方式路由，既保持负载平衡，又保留本地重用，同时降低对全球层的需求。使用会话轮次信息作为调度指标是有意的：它仅基于用户输入高效准确地推导，因此调度器保持干净和无状态。SMETRIC在与全球存储共存的情况下提高了集群TPS 10-16%，在解耦的情况下将预填充TPS提高了2-34%，并且每个令牌的延迟也有所改善。
博主点评： SMETRIC的研究展示了在智能代理服务中调度的创新思维，通过平衡会话中心的调度策略有效提升了系统性能。其在负载均衡与缓存重用之间找到的平衡点，为未来的LLM服务提供了新的方向，值得关注和借鉴。