在Mixture-of-Experts (MoE) 模型的服务中，专家并行化已成为主流范式，其效率依赖于GPU的通信和计算延迟，这与专家在GPU上的布局密切相关。现有的专家布局优化方法主要依赖于过去请求的专家激活模式，但在面对多样化和快速变化的请求模式时，这些方法显得不足。因此，亟需一种在线的主动布局方案。
实现这种方案面临诸多挑战：包括与即将到来的请求的专家激活相关的不确定性、专家迁移的成本，以及优化中的NP-hard复杂性。为此，我们提出了Director，一个新的分布式MoE服务系统，通过基于预测的在线专家布局来最小化端到端延迟。
Director使用轻量级级联预测器或低比特量化副本来预测即将到来的请求的专家激活模式。在线迁移模块则在计算密集的阶段内执行更改，实现近乎零停机时间，保持干扰在可控范围内。核心部分是一个基于松弛的专家布局优化器，在容量约束下运行，并以多项式时间完成，达到 $(1+\epsilon)$ 近似比。最后，我们实现了一个原型，并通过大量实验显示，与现有方法相比，流行的MoE模型（如Mistral、DeepSeek和Qwen）的端到端延迟减少了 $11\sim55\%$。
博主点评： Director系统通过前瞻性的专家布局有效应对了动态请求的挑战，展示了在MoE模型服务中提高效率的新思路。其基于预测的策略不仅提升了性能，还维持了系统的稳定性，值得关注。