循环循环者！
Loop the Loopies!
AI总结：
研究提出最强大的循环Transformer——Loopie，由两个专家混合模型组成。它应对了循环Transformer面临的挑战，经消融研究表明在相同计算预算下优于普通基线，其训练后管道赋予强大推理能力，在竞赛中无需工具获金牌。
AI中文摘要：
我们展示了Loopie，这是迄今为止最强大的循环Transformer。Loopie系列由两个专家混合（MoE）模型组成：一个有200亿参数且20亿有效参数的模型和一个有60亿参数且6亿有效参数的模型。循环Transformer长期面临挑战：预训练计算增加N倍时，参数数量增加N倍通常比将模型循环N次表现更好。Loopie应对了这一挑战。大量消融研究表明，Loopie在相同计算预算下显著优于普通Transformer基线。我们新颖的训练后管道赋予Loopie强大推理能力。在2025年国际数学奥林匹克竞赛和国际物理奥林匹克竞赛中，Loopie无需工具就取得了金牌成绩。
英文摘要：
We present the Loopie series, consisting of two Mixture-of-Experts (MoE) models: a 20B-parameter model with 2B active parameters and a 6B-parameter model with 0.6B active parameters. Looped Transformers have long faced a challenge: given an N times increase in pre-training compute, increasing the parameter count by a factor of N usually outperforms looping a model N times. Loopie addresses this challenge. Extensive ablation studies, including comparisons with a vanilla 30B-A3B model, show that Loopie substantially outperforms vanilla Transformer baselines trained with the same compute budget. With a novel post-training method, Loopie develops strong reasoning abilities and achieves frontier-level reasoning performance.
