在本文中，我们指出循环 Transformer 在迭代次数增大时会出现性能下降，需要专门的残差连接来保持信息。随着循环次数提升，噪声状态更新会覆盖正确的中间推理，甚至撤销已完成的解答，导致后续迭代只能在已受损的表示上恢复信息。早期循环出现的错误往往通过递归的长程传播难以在后期纠正。为此我们提出 InfiLoop——一种循环原生残差机制，能够学习保留哪些历史计算以及从新更新中接受多少信息。InfiLoop 通过内容加权结合可学习的时间衰减，维护递归状态的运行摘要。精确的流式递归在循环计数增长时保持持久聚合记忆常数大小。自适应更新抑制不可靠的提议并保留有用的中间状态。实验在多个推理任务上表明，参数仅 7M 的 InfiLoop 模型超越现有递归架构，在 Sudoku‑Extreme 上达到 97.9% 的精确率，在 ARC‑AGI‑2 上的 pass@2 为 13.6%。值得注意的是，在 Sudoku‑Extreme 上，测试时循环超过 20 000 步仍能继续提升性能，说明增加深度直接转化为更强的推理能力。代码已开源：https://github.com/pixeli99/InfiLoop
点评