OpenClaw请求主要由长工具增强前缀组成，包括系统提示、对话历史和反馈到上下文窗口的工具输出。对于这种工作负载，每个请求大约包含28k-30k输入标记和500个输出标记，服务质量受吞吐量、TTFT（首字节总时间）和尾部延迟的影响，而不仅仅是短提示的吞吐量。
本报告研究了在MaaS多模型推理优化架构中进行GLM-5服务参数调优的过程。研究范围集中在推理优化层的单节点优化模块，其中对分块预填充、张量并行性（TP）、流水线并行性（PP）和请求并发性进行了调优，针对单个GLM-5服务部署进行实验。在此报告中，“单节点优化”指代架构模块，而实验在一个两节点、十六GPU的集群上进行。
在测试的参数空间中，最佳配置为：分块预填充大小=3072，TP=4，PP大小=4，最大运行请求数=24。与保守的2048/4/4/16基准相比，该配置将请求吞吐量从0.43提升至0.48 req/s，总标记吞吐量从9029.64提升至9993.23 tok/s，同时将平均TTFT从8.98降低至6.69秒，P90延迟从40.23降低至32.64秒。在相同的硬件条件下，这对应于每个请求的服务成本降低约10.4%，每个标记的成本降低约9.6%。结果表明，最佳配置是特定于工作负载的：更大的分块大小和更深的排队并不单调提高性能。因此，我们建议将3072 / tp4 / pp4 / max24作为OpenClaw的默认部署配置。
博主点评： 本文通过细致的实验和数据分析，揭示了GLM-5在长上下文处理中的优化潜力，展示了在具体负载条件下，服务参数调整如何显著提升性能及降低成本。这为后续研究和实际应用提供了有价值的参考。