摘要
大型语言模型（LLMs）在模式识别和文本生成方面表现出色，但它们的溯因推理能力，即推断解释观察到行为的潜在假设，仍然不够清晰。本文介绍了Elenchos（源自苏格拉底的交叉审问方法），这是一个生成性评估框架，用于将溯因推理视为结构性逆问题。
在该框架中，给定一个参考形式系统（如λ-演算）和一个可能变异的对应系统，模型需要确定是否发生了变异，并推断导致行为差异的规则修改。
对前沿和中级LLMs的评估显示出一致的检测-归因分离现象：模型通常能够识别系统已被修改，但在识别导致观察到的差异的潜在变异时却存在困难。在交互变异的情况下，模型的性能显著下降，通常只能恢复潜在变异的一部分。
初步证据还表明，推理时间的增加带来的收益递减，只有在更大的推理预算下才有适度改善，尽管这一发现仍需进一步验证。
博主点评： 本文通过Elenchos框架深入探讨了大型语言模型在溯因推理中的局限性，揭示了模型在处理复杂推理任务时的薄弱环节，提示我们在应用LLMs时需谨慎考虑其推理能力的边界，以避免过度依赖其输出。