在大语言模型（LLM）服务中，我们研究了在线路由问题，要求顺序到达的请求必须在严格的批量大小和KV缓存限制下被分配给并行解码工作者。与那些不受明确服务水平目标（SLO）约束且对延迟-吞吐量权衡提供有限控制的常用路由启发式算法不同，我们提出了一种多目标优化框架，将路由问题形式化为带有可解释决策奖励的在线线性规划。
我们应用了一种基于在线线性规划的高效出价控制策略，允许请求在其SLO加权收益超过其影子价格时被接纳。为了满足毫秒级的决策要求，我们开发了一种预热的、投影的第一阶更新方法，能够在线跟踪不断变化的双重影子价格，并具有可预测的运行时间。
我们将路由器集成到Vidur模拟器中，并在多个SLO场景下展示了相较于标准基线显著的性能提升，包括端到端延迟、首次令牌时间、吞吐量和尾部性能。我们的结果表明，基于科学的方法优于依赖启发式的其他方法。
博主点评： 本文通过引入在线线性规划，成功提升了大语言模型服务的路由效率，尤其在多目标优化方面展现了显著的优势。研究者通过可解释的决策奖励和高效的控制策略，使得系统在满足严格SLO的同时，保持了高吞吐量和低延迟，具有重要的实际应用价值。