链式思考(CoT)通过在回答前提供额外计算,常提升语言模型性能。传统 CoT 以自回归方式生成思考序列,而潜在推理用紧凑的连续状态取代这些离散 token,但大多数方法仍保留左到右的依赖关系。LLoCoT(Looped Latent CoT)将左到右的潜在向量生成改为对紧凑潜在工作空间的迭代细化。一个共享的 Transformer 在少量迭代中重复使用,依据提示和不断演化的工作空间状态联合更新潜在槽位。细化后的状态经概率头输出分布,随后并行采样潜在 token 并用于条件化自回归解码器生成答案。训练时利用显式 CoT 的连续表征,加上最终答案预测损失和潜在状态的似然监督。实验在 HumanEval 与 MBPP 上显示,LLoCoT 在所有评测方法中取得最高平均分,准确率与显式 CoT 基线 Reasoning SFT 持平,同时超越基础模型、仅答案 SFT 与 NF‑CoT。相较于 Reasoning SFT,LLoCoT 将首个答案 token 的生成时间缩短约 $36\times$,推理阶段延迟降低约 $42\times$,端到端吞吐量提升 $9.2\%$。该设计用并行的潜在槽位细化取代串行思考生成,仍保留概率潜在建模与自回归答案解码的优势。
点评:LLoCoT 展示了在保持推理质量的前提下,通过循环结构实现显著加速的可能性,为大模型的高效推理提供了新思路。