随着模型参数规模的提升，稀疏激活的混合专家（MoE）已成为扩展模型的关键手段。主流模型采用层级结构，不同层的专家在拓扑上独立，却在存储内容上高度相似，导致冗余。我们提出将跨层共享的 Meta Expert 取代传统层内的 Local Expert。通过多维实验比较，发现引入 Meta Expert 的模型参数冗余更低，交叉熵损失更小，下游任务精度更高。在保持激活数量和专家粒度不变的前提下，模型仅使用 70%–80% 的专家即可匹配 Vanilla MoE 的性能，显著提升了模型的可扩展性。理论分析表明，Meta Expert 为隐藏状态提供了更灵活的残差通路，提升了信息检索效率。
点评