我们介绍了 Nemotron-Labs-3-Puzzle-75B-A9B，这是一个针对交互式部署优化的压缩版 Nemotron-3-Super。该模型旨在在高用户吞吐量约束下最大化服务器吞吐量。在单个 8xB200 节点的交互式服务负载中，Puzzle-75B-A9B 在匹配用户吞吐量约束的情况下，服务器吞吐量约为 Nemotron-3-Super 的 2 倍。在单个 H100 GPU 上的超长上下文部署中，压缩模型将 1M-token 的并发请求从 1 个增加至 8 个。
Puzzle-75B-A9B 采用多阶段管道构建，结合了迭代拼图压缩框架、知识蒸馏、强化学习、量化和多标记预测头。压缩过程同时优化了异构 MoE 剪枝、活跃参数预算和 Mamba 剪枝，以提高推理效率，同时保持模型质量。我们在广泛的推理、编码、多语言、长上下文和智能基准测试中评估了 Puzzle-75B-A9B。尽管进行了显著压缩，该模型在广泛任务中相对于母模型仍保持强大的下游准确性。这些结果表明，大型混合 MoE 模型可以在保持强大下游能力的同时，显著优化部署效率。
博主点评： Nemotron-Labs-3-Puzzle-75B-A9B 的推出标志着混合 MoE 模型在交互式部署中的重要进展。通过多种先进的压缩技术，该模型不仅提升了服务器的吞吐能力，还在保持模型性能的前提下，显著提高了资源利用效率，展现了未来 AI 模型优化的新方向。