稀疏混合专家（MoE）模型能够为 Web 应用提供可扩展容量，但路由不均会导致计算和通信瓶颈。现有的放置和复制策略通过重新分配工作负载缓解这些问题，却会在 GPU 内存受限的环境下让专家副本与 token 缓冲区争夺空间。LRMoE 是一种面向内存感知的 MoE 训练系统，它在前向传播阶段根据资源约束规划保留配额和专家放置，同时保证所有路由计算完整；在反向传播阶段，引入负载再校准度量，根据每个 token‑expert 对对专家参数更新的贡献估算，并在配额范围内挑选保留对。随后，容量感知路由算法把保留的对分配到原专家的可用实例上，物理压缩步骤将通信负载压缩为更小的 payload 并生成可变大小的分组 GEMM，从而降低反向流量、计算量和执行缓冲需求。实验在 Qwen3‑30B‑A3B 与 GLM4.5‑106B‑A12B 上验证，LRMoE 相比 SYMI 在达到固定 loss 目标的累计 MoE 层训练时间上提升 21.2%‑44.8%。
点评：LRMoE 通过需求侧的负载再校准和容量感知路由，实现了在显存受限节点上显著加速 MoE 训练，兼顾了计算、通信和内存三方面的平衡。