Mixture‑of‑Experts（MoE）模型通过稀疏激活专家来降低推理计算量，但大量专家参数往往超出 GPU 容量，需要将部分专家卸载到 CPU。现有系统在遇到 GPU 未命中的专家时，要么把专家整体迁移到 GPU，导致 PCIe 传输延迟显著；要么直接在 CPU 上执行，使得 CPU 较慢的计算成为瓶颈。
为了解决上述问题，我们提出了 \method，一个 CPU‑GPU 协同的 MoE 推理框架。核心思路是根据每个专家的 token 负载动态决定其执行位置：负载较高的专家被转移到 GPU，以利用其并行计算优势；负载较低的专家留在 CPU，避免不必要的传输开销。系统在推理过程中持续监控两条执行路径的进度，并自适应调整专家分配，使 CPU 计算路径和 GPU 传输‑计算路径能够尽早同时完成，从而最小化整体延迟。
在三个代表性的 MoE 大语言模型上进行的大规模实验表明，\method 在不同批次大小和 GPU 内存预算下均实现了显著提升：预填充阶段速度提升最高可达 51.9%，解码吞吐量提升最高可达 39.5%，相较于最强基线都有明显优势。
点评