Soofi S 30B-A3B模型概述
我们推出了Soofi S 30B-A3B，这是一个主权的开源混合专家（MoE）混合Mamba Transformer基础模型，支持德语和英语。其混合设计使得每个token仅激活30B参数中的3B，并在上下文增长时保持推理缓存近乎恒定，从而在长上下文和高并发部署中相较于密集模型具有显著的吞吐量优势。
Soofi S在大约27万亿个token上进行了预训练，德语的权重被故意调高。它在英语和德语的综合基准测试中与14到27B的密集模型相匹配，并在17个开放基础模型中取得了两种语言的最佳代码聚合，超越了我们比较中的每一个欧洲主权基准，即使是那些活跃参数远大于它的模型。
在完全开放的模型中，Soofi S在英语和德语评估得分上也名列前茅，领先于Olmo 3 32B和Apertus 70B。Soofi S是在德国工业AI云上端到端构建的，这是由德意志电信在慕尼黑运营的主权HPC规模AI基础设施。
Soofi S将以高度宽松的开放获取条款发布：模型权重、选定的中间检查点、每个源的数据核算、超参数以及训练和评估代码均会公开。对于源许可证允许的地方，数据构建工件将以宽松许可证发布；商业授权源则以汇总统计和确切的混合核算进行文档记录。
博主点评： Soofi S 30B-A3B的发布标志着开源基础模型领域的又一次进步，尤其是在高并发和长上下文处理方面的优势，展现了混合专家模型的潜力。其在德语和英语的优秀表现证明了针对特定语言优化的有效性，未来可能会推动更多国家和语言的基础模型开发。