细粒度的混合专家（MoE）模型通常通过缩窄每个专家的宽度来增加专家数量，把专家的形状视为路由粒度的副产品。LatentMoE 将专家计算迁移到低维空间，使输入维度 $d_{\text{in}}$ 与每个专家的中间宽度 $w$ 成为显式的设计自由度。我们证明，单个专家的局部雅可比矩阵秩满足 $$\operatorname{rank}(J) \le \min(d_{\text{in}}, w)$@@@MATH_BLOCK3@@@d{\text{in}}$ 与 $w@@@MATH_BLOCK5@@@d{\text{in}} \approx w$）表现最佳。
进一步地，我们利用层级内在维度（ID）来指导深度方向的容量分配。具体做法是让每层的专家数量 $N_{\ell}$ 与形状 $(d_{\text{in}}^{\ell}, w^{\ell})$ 同时变化，使得每层的参数总量、激活 FLOPs 与通信量保持不变。实验在与层均匀基线的对比中显示，ID 引导的分配能够降低验证损失并提升下游任务的性能。上述结果表明，专家形状和层级容量分配是 MoE 设计的可行调节轴。
点评：通过显式控制专家的几何形状并结合层级内在维度，LatentMoE 在保持计算预算不变的前提下，实现了更高的表达能力和下游表现，为大规模 MoE 的结构设计提供了新的思路。