在大型语言模型（LLM）重塑软件开发和维护的背景下，推理引擎如 vLLM 正在高效服务于预训练且高度可配置的模型。尽管先前的研究主要关注模型架构和硬件加速，但推理引擎配置对能耗、性能和输出质量的影响仍然不够清晰。
本研究开展了一项大规模的受控实验，针对三种 vLLM 配置选项进行了评估：注意力内核类型、前缀缓存和分块预填充。我们对这三种配置的所有组合进行了分析，涵盖了 5 个开放权重的 LLM 和 5 个多样化的推理任务，共计进行 $9,000$ 次运行和 $93,600$ 次测量。
研究结果表明，所研究的配置选项对能耗和性能有显著影响，主要由注意力类型和前缀缓存驱动，而分块预填充在默认 vLLM 服务配置和评估工作负载下的效果有限。这些影响高度依赖于模型和工作负载，且没有单一配置能够普遍适用。我们进一步发现，模型选择在整体权衡中占主导地位，而配置调优则能在帕累托前沿上提供局部改善。意外的是，推理选项也可能影响模型的准确性。
博主点评： 本文通过系统的实验分析探索了 vLLM 配置对能耗与性能的影响，强调了在不同模型和任务下的局部优化潜力，为实际应用提供了重要的参考依据。