大型语言模型（LLM）被认为能够表示并推理广泛的现象，尤其是因果关系。近年来，CLadder 作为一种程序化生成基准数据集的框架，被广泛用于评估 LLM 的形式因果推理能力。实验数据显示，LLM 在 CLadder 生成的大量样本上取得了高准确率。
本文审视了在 CLadder 测试集上取得好成绩时可以可靠推断的内容。我们发现生成器在数据集中嵌入了若干表层且高度可预测的模式，例如固定的词序和结构特征，这些模式并不要求真正的因果推理。即使是随机森林等简单模型，只要在少量生成样本上进行训练，也能在 CLadder 数据集上获得可观的表现。
进一步的实验表明，许多商业 LLM 在 CLadder 测试集上的表现极其脆弱：删除文本中对形式因果推理至关重要的段落，模型的准确率几乎不受影响。这说明模型可能并未真正理解因果关系，而是利用了训练数据中出现的表层模式。
综合上述结果，最可能的解释是，当前最先进的 LLM 之所以在 CLadder 上表现出色，是因为它们从生成器的训练数据中学习到了这些表层模式。任何声称 LLM 展示了更复杂因果推理的结论，都必须先排除这一假设。
点评