Mixture-of-Experts（MoE）架构已成为扩展大语言模型的关键，近期工作表明细粒度专家设计能够带来显著收益。直接从零训练此类模型成本高昂，因而从已有的稠密模型进行稀疏升级成为一种吸引人的方案。我们发现，当细粒度专家全部来源于同一模型时，路由机制会出现塌陷，导致下游任务准确率几乎随机。例如在 Qwen3-1.7B 上，Drop‑Upcycling‑fine‑grained 仅达到 23.2% 的平均准确率，几乎等同于从零训练的 22.2%，而同方法的粗粒度变体仍能保持 50.2%。
DivMoE 是首个实现结构平衡路由的细粒度 MoE 升级框架。它通过两项关键技术实现：一是域专用的细粒度专家初始化，即先对稠密模型进行跨域持续预训练，再从中抽取专家；二是多样性约束路由，强制每个 token 同时激活来自不同域组的专家，从而避免路由塌陷。实验在两种基模型和 15 项基准上进行，DivMoE 始终优于六种升级基线，在 Qwen3-1.7B 上以 55.6% 超过最强基线的 51.6%，并在第二阶段持续预训练后于所有基准上均超越原稠密模型，弥补了以往细粒度升级的回归缺口。进一步在公开推理混合数据上进行监督微调后，12B 参数的 DivMoE 达到 64.5% 的平均准确率，匹配 16B 参数的 Moonlight‑MoE，并比受控的 NVIDIA‑Upcycling 基线高出 6.1 个百分点。
点评