LLM 推理已成为需要在延迟 SLO 下进行资源配置、监控和计费的核心业务。单一的吞吐量指标无法覆盖运营者面临的真实问题，因为生成式服务包含预填（prefill）和解码（decode）两个阶段，二者的服务特性截然不同；连续批处理会改变有效的服务过程；用户可感知的尾部延迟往往在整体吞吐达到饱和前就已经恶化。GAUSS 通过结合相位特定的延迟曲面与 Lindley 递推排队模型，提供对首 token 时间（TTFT）和 token 间隔时间（TBT）完整分布的预测，并给出可持续请求率。模型使用已校准的预填和解码延迟表面，针对随机到达流采用 Lindley 递推描述排队演化，再通过蒙特卡罗采样估计性能，而不是重放单一追踪。此方式使 GAUSS 能评估未部署的工作负载、路由策略和硬件配置，并捕获追踪驱动模拟器常遗漏的延迟尾部。我们展示了模型在选取运行点、流量分段以及最短剩余处理时间（SRPT）调度容量评估方面的优势，这些都是传统追踪模拟难以回答的问题。
点评