摘要
基础模型，包括大型语言模型（LLMs）和视觉语言模型（VLMs），在交通管理中心（TMC）中被广泛应用于异常检测、事件报告和旅客信息等任务。多模型的部署引发了一个组合问题：每个功能应该使用哪个模型、以何种部署模式以及在什么共享硬件预算下进行？我们将其表述为基础模型部署组合（FMDP）问题，这是一个混合整数规划，旨在最小化总拥有成本（TCO），同时满足每个功能的质量、延迟和安全性约束，基于共享的GPU容量。我们通过从0-1背包问题的归约证明了该问题是NP-困难的，并提出了一种多项式时间的贪婪启发式算法。在一个包含五个TMC功能和19个候选（模型，模式）对的案例研究中，FMDP识别出一个混合组合，成本为每月34美元（比最便宜的可行全封闭API基线低97%），通过将四个功能路由到开源API，而将一个质量底线未被开源模型满足的功能路由到封闭API。盈亏平衡分析表明，仅当每小时视觉查询超过309次或API价格翻倍时，现场GPU投资才变得合理。
博主点评： 此研究通过引入混合整数规划方法，系统性地解决了交通管理中基础模型的部署问题，展示了开源与封闭API的成本效益分析，为交通管理领域的智能化进程提供了实用的理论支撑。具体的案例研究也为后续的应用提供了参考。