NeFut Logo NeFut
EN 管理员登录

[AI学术] COMPASS:基于能力导向模型画像的自适应路由与工具使用

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#Machine Learning #LLM #Artificial Intelligence

LLM 路由的目标是以低成本挑选出最合适的模型,但专用路由器往往需要随模型和任务的变化进行更新。为此我们提出 COMPASS,一种具备代理能力的路由框架。LLM 按照预设的路由配方执行,利用工具收集模型的性能和费用证据,并可在最终决策前检查候选答案,从而决定调用哪个模型。\ \ 在 LLMRouterBench 与 DeepSWE 两套基准上的实验表明,代理式路由能够在不进行路由专属训练的前提下,同时提升准确率并降低模型调用成本。具体而言,COMPASS 在 LLMRouterBench 上实现 69.85% 的准确率,花费 $139.57,而 RLCascadeRouter 为 69.14% 且花费 $180.22。 在 DeepSWE 的固定五折交叉验证中,COMPASS 达到 78.1% 的准确率,成本 $215,相比之下最佳单模型为 74.1% 且成本 $500。\ \ 此外,COMPASS 还能跨基准进行路由,并通过读取新的评估记录自动适配扩展后的模型池,无需修改路由器的权重或提示词。\ \ 点评:COMPASS 展示了通过能力画像和工具交互实现的自适应路由的潜力,既保持了高效的模型选择,又避免了频繁的模型或任务更新带来的维护成本。

原文链接: https://arxiv.org/abs/2610.27822

[h] 返回首页