在Mixture-of-Experts (MoE) 模型中，仅激活每个token的一小部分专家。然而，相邻的token往往会激活不同的专家，导致在边缘设备上慢速存储与快速内存之间频繁切换权重。现有的解决方案要么是系统级的（缓存启发式），要么是事后处理的（路由微调），但都未能在预训练阶段解决根本问题。
为此，我们提出了StickyMoE，一种可微分的路由一致性损失，惩罚相邻token之间的突然专家切换，鼓励路由器在语义连贯的范围内保持相同的专家分配。StickyMoE无需更改架构，仅需添加一个超参数lambda，并且与事后方法不同，它允许专家表示和路由决策从第一步训练开始共同适应。
在小规模MoE语言模型上的实验表明，StickyMoE将专家切换率降低了高达60%，且困惑度降幅不到4%，在质量-局部性边界上优于事后微调。路由时间局部性在训练期间最有效地得到增强。
博主点评：StickyMoE的提出为解决MoE模型在内存效率上的瓶颈提供了新的思路，通过在训练阶段引入一致性损失，有效减少了专家切换，展现了在模型优化中的巨大潜力。此方法的灵活性与高效性将吸引更多研究者关注模型训练过程中的动态调整。