摘要
最近的潜在推理方法，如CODI和COCONUT，面临着基本的可解释性问题：它们在每一步中保持多个重叠的候选轨迹在隐藏空间中，而与之不同的是，显式链式推理（CoT）遵循单一透明的推理轨迹。现有的机械方法展示了压缩、捷径和叠加，但未能解释推理如何在潜在步骤中演变。
为了解决这一空白，我们将潜在的令牌序列建模为表示空间中的轨迹，并应用动态系统分析来描述推理的演变。通过量化指标，如逐步变化、方向一致性和Lyapunov敏感性，以及定性投影，如UMAP和DMD/PHATE，我们展示了潜在链式推理表现出有结构的、非随机的动态行为，且具有两种不同的稳定性类别。CODI表现为一个稳定的吸引子，而COCONUT则表现为一个不稳定的扩展系统，SIM-CoT监督增强了这两种行为，而不改变潜在动态的基本特征。
这个框架提升了对潜在链式推理动态的可解释性，并提供了改善潜在推理性能的可操作性见解。代码和项目页面可在线获取。
博主点评： 该研究通过将潜在推理视为动态系统，深入探讨了推理过程的可解释性，提出了新的量化和定性分析方法，为未来的推理模型设计提供了重要的理论基础和实践指导。潜在推理的稳定性分析为模型优化提供了新的视角，值得关注。