NeFut Logo NeFut
EN 管理员登录

[AI学术] ScoutRoute:利用内部语言模型信号的高效专家路由方法

发布于:2026-10-20 22:00 最后更新:2026-10-22 01:04
#Machine Learning #LLM #Artificial Intelligence

Mixture-of-Experts(MoE)系统在处理异构的大语言模型(LLM)集合时,如何快速、准确地选择合适的专家是核心难题。传统做法依赖联合训练的门控网络、基于提示的预测器或多模型推理,这些方案要么缺乏灵活性,要么计算开销大。ScoutRoute 提出一种轻量级的后置路由框架,只需一次前向传播即可从廉价的 scout 模型中提取内部信号,用以评估各专家的能力。具体做法是:

  1. 通过 scout 模型的隐藏状态构建轻量逻辑探针(logistic probe),对跨模型的 competence 进行估计;
  2. 将模型输出的 logits 转化为置信度分数,并结合任务域信息形成域感知路由策略;
  3. 在不修改任何语言模型参数的前提下,仅依据上述信号完成专家选择。

实验在五个开源权重的 LLM 上,覆盖数学推理、代码生成、常识推理和跨学科知识四类基准数据集进行评估。结果显示,ScoutRoute 在仅一次 scout 推理的情况下, consistently 超越单一信号的路由效果,并且其探针得到的置信度比传统的 logits‑based 方法更具校准性,证明内部表示能够提供可迁移的路由信息。

点评:ScoutRoute 通过利用模型内部特征实现了高效且可扩展的 MoE 路由,为异构 LLM 的协同推理提供了实用的解决方案。

原文链接: https://arxiv.org/abs/2610.23443

[h] 返回首页