大型语言模型(LLM)编码代理通过实验式编程生成软件,这为它们自行设计运行所需的服务系统提供了契机。有效的服务必须在会话依赖、延迟约束和正确性要求之间进行协调。为此我们提出 ServerBench——一个面向代理的完整、专用 LLM 服务系统设计基准。代理的目标统一为 dollars per dollar:在满足延迟条件的前提下,每美元 GPU 成本能够产生的 token 价值。基准通过有状态回放保留会话依赖,并使用独立验证器检查提交的系统实现。实验覆盖 11 种编码代理模型和三种部署环境,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 dollar per dollar,约为 vLLM 基准的 4.87 倍;33 次运行中有 22 次系统通过验证,13 次超越最强基准。分析得到三点关键发现:高价值设计将容量提升与负载选择相结合;代理通过与工作负载相关的实验解释性能反馈;可靠交付依赖于对优化引入的执行路径进行验证。ServerBench 为系统化研究代理如何将服务目标和反馈转化为有效且经验证的服务系统提供了平台。\n\n点评