我们提出了一种针对MiMo-V2.5模型系列的全管道推理优化方案，结合了混合滑动窗口注意力（Hybrid SWA）、稀疏专家混合（Mixture-of-Experts, MoE）和多模态编码器。虽然混合SWA理想情况下能够显著减少与全注意力相比的注意力计算和KVCache存储，但在生产环境中实现这些收益需要大量工程努力。
我们系统性地优化了KVCache系统，采用了分层预取、SWA感知前缀缓存树和专用放置策略，达到了严格的 $O(W)$ SWA存储和高缓存命中率。此外，我们构建了GCache，一个高性能的分布式缓存基础设施，配备了针对RDMA优化的网络，并开发了KVCache亲和路由器，以减少计算并保持负载均衡。我们还针对多模态输入进行了优化，包括GPU图像预处理、并行视频解码和多模态缓存共享。这些优化共同构成了首个在生产中高效覆盖混合SWA + MoE + 多模态复合架构的大规模LLM服务系统。
博主点评： 该研究通过系统优化KVCache和引入高效的分布式缓存基础设施，显著提升了MiMo-V2.5模型的推理效率，展示了在复杂架构下的工程实现潜力，为LLM的实际应用提供了重要参考。