近期研究尝试用连续表示取代离散 token，形成所谓的软 CoT（Chain‑of‑Thought）推理。其核心假设是：多个 token 嵌入的混合可以在一次计算中叠加多条推理路径。然而，要让大语言模型真正利用这种超位置能力仍然困难。已有工作将软 token 视作马尔可夫决策过程中的动作，采用强化学习方式训练，但这种做法忽略了软 token 之间的可微分计算流，导致梯度无法跨步传播，无法捕捉前一步选择对后一步的影响。
本文提出一种稀疏松弛的强化学习方法 SpaRLax。它把软 CoT 推理视为可微分的时间步计算，并在每一步使用 entmax 稀疏化策略自适应决定软化程度。具体来说，entmax 会在模型对答案有高置信度时截断长尾噪声，使输出更稀疏；在不确定时保留多个候选，从而保持推理的多样性。
在九个推理基准上，SpaRLax 的平均得分超过所有对照方法。进一步分析表明，软 token 的叠加在本方法中被有效利用，而自适应稀疏性对提升性能贡献显著。
点评