我们推出了Loopie，迄今为止最强大的循环Transformer系列。Loopie系列包含两个混合专家（Mixture-of-Experts, MoE）模型：一个拥有200亿参数、20亿活跃参数的模型，以及一个拥有60亿参数、6亿活跃参数的模型。循环Transformer长期以来面临一个挑战：在预训练计算量增加N倍的情况下，参数数量增加N倍通常会优于将模型循环N次。Loopie有效地解决了这一挑战。
通过广泛的消融研究，包括与一个普通的300亿参数A3B模型的比较，结果显示Loopie在相同计算预算下显著超越了普通Transformer基线。我们的新型后训练管道赋予Loopie强大的推理能力。在2025年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）中，Loopie在没有工具的情况下实现了金牌表现。
博主点评：Loopie的推出标志着循环Transformer模型的重大进步，尤其在参数效率和推理能力方面的提升令人瞩目。通过有效利用计算预算，Loopie的设计理念值得其他模型借鉴，预示着未来Transformer架构的更多可能性。