Dynamic LLM 路由器声称通过将每个查询发送到能够正确回答的最廉价模型来降低推理成本。我们在涵盖八类任务的多样化基准上，对六种商业路由器在 14 种设置下进行评估，结果显示，没有一种路由器的表现优于在相同成本下随机在两种精挑细选的模型之间切换的基线，部分路由器的性能甚至低于 10 个百分点。
我们将性能差距归因于四种在路由器中普遍出现的模式：难度盲视、长度逆转、语义匹配以及名单次优。前两者导致路由器倾向于把中等难度的查询而非最难查询送到更便宜的模型，倾向于将较短查询而非较长查询路由到低成本模型，后者则是基于查询来源而非真实难度进行路由，这正是标准目标——在实现成本上的成本‑准确率帕累托效率——所奖励的行为。
此外，我们发现支撑大规模模型名单的两个假设——模型粒度和模型专精——在实证上并不成立。为此我们提出了一种不奖励上述模式的评估方法，并以此为依据设计了一个仅使用两种模型的简易路由器，该路由器规避了全部四种模式。
尽管如此，由于精心挑选的模型名单本身已经非常高效，新的路由器相较于随机路由的提升仍然有限。
点评