摘要
近期的循环语言模型研究表明，许多推理问题更依赖于更深的计算深度，而非额外的独立参数。然而，现有研究几乎完全专注于 Transformer 架构，未探讨这一原理是否同样适用于状态空间语言模型。我们研究了 Looped Mamba 和 Looped Hybrid Mamba-Transformer 架构，这些架构多次应用共享的 Mamba（或混合）模块，以引入显式有限深度的递归计算。
在两个控制推理任务上——Mano（模算术操作）和 p-hop 归纳——Looped Mamba 一直优于参数匹配的非循环基线，并且在多个设置中，与具有相同有效深度的非循环模型相匹配或超越。
接下来，我们将研究扩展到语言模型的预训练，采用匹配的同参数和同 FLOPs 协议，这两者共同解耦了参数共享和有效深度的影响：循环模型在下游基准测试中仍然具有竞争力，同时拥有显著较少的独特参数，尽管在严格的同 FLOPs 比较下，深度非循环模型在验证困惑度上保持优势。
最后，我们将 Ouro 的两阶段退出门适配到 Looped Mamba，以在递归步骤输出之间进行阈值控制选择。由于所有递归步骤仍被执行，所选择的退出步骤代表预测深度，而不是减少的壁钟计算。在研究的规模下，自适应退出状态选择在中间深度提升了下游性能，而实际推理时间节省则需要额外的状态处理机制。
博主点评： 本文通过引入 Looped Mamba 架构，探讨了递归计算深度对语言模型性能的重要性，尤其是在参数共享和有效深度之间的平衡。这一研究为状态空间模型的进一步发展提供了新思路，尤其是在处理复杂推理任务时的应用潜力。