Mixture‑of‑Experts（MoE）已成为扩展大语言模型（LLM）的主流方法，因为每个 token 只激活少量专家，从而降低推理成本。然而，MoE 解码仍然高度受内存限制，并表现出强烈的、随时间变化的专家负载不均衡。
3D‑堆叠 DRAM 近存计算（NMP）提供了解码所需的带宽，但其瓦片化组织使负载均衡代价高昂：专家并行（EP）保持局部性，却因热点导致不平衡；更分散的策略削弱局部性并增加 NoC 流量。
我们观察到，面向特定领域的 token 路由在不同解码步之间产生相互抵消的专家负载波动，这一特性称为专家互补性。
基于此洞察，提出 3D‑MoE——面向 3D‑堆叠 NMP 的 MoE 解码的硬件‑软件协同系统。3D‑MoE 采用离线一次性的互补性引导分组和局部感知映射，实现粗粒度的组间平衡；通过轻量级协作记忆网络（CMN）处理组内残余热点，CMN 将每个热点专家的权重瓦片仅从其所在 DRAM 通道一次性流向辅助核，利用重新配置的本地广播路径；并使用成本感知的在线重映射保持对工作负载漂移的鲁棒性。
在多种 MoE 模型上的评估表明，3D‑MoE 在 MoE 层上相较于 EP 平均实现 $4.63\times$ 加速，端到端吞吐量提升 $1.58\times$‑$1.86\times$，额外逻辑芯片面积仅增加 $2.11\%$。
点评