潜在思维链（Latent chain-of-thought）用连续的隐藏状态取代书面推理步骤，为模型提供额外的计算步骤。虽然在多个任务上取得高准确率，并且中间答案可解码，但这并不证明模型真的利用这些隐藏状态进行推理。我们在 21 种模型‑任务组合上进行实验，覆盖三种训练方案、三类推理任务和两种模型骨干。实验方法包括链删除、内容替换、探针和轨迹分析，用以检验链是否影响答案、编码了什么以及状态如何演变。
在逻辑任务上，COCONUT 模型往往在链开始前就已经得到可读的答案，隐藏状态很快收敛，删除链后预测几乎不变。逐步监督可以让模型形成有序的推理步骤，并增加对链的依赖，但即使链有序，它也可能仅充当占位符：删除链会降低性能，而替换链内容却不影响答案。
在算术任务上，所有测试的训练方案都表现出对链内容的依赖。上述结果表明，仅凭可读的隐藏状态不足以证明模型在推理。我们提出的分类法将“链代表什么”与“模型如何使用链”区分开来。这样，之前的研究可以统一解释：占位符、折叠的叠加态以及步依赖的因果作用分别对应不同类型的链，出现在不同的任务、训练方案或测量方式中。只要明确说明测试了链的哪一属性（是否被使用、包含何种信息、状态如何移动），关于潜在推理的结论即可相互比较。
点评