大型语言模型（LLM）正被广泛用于科学发现的各个环节，包括文献综述、假设生成以及实验设计。所有这些任务的核心需求是随着新证据的出现不断更新信念，而贝叶斯推断提供了自然的数学框架。过去的研究普遍认为 LLM 在上下文中无法实现严格的贝叶斯更新，只能依赖简化的启发式方法。为检验这一假设，我们构建了一个系统化的评估框架，涵盖以下三个层面：
- 定性认知实验：通过哲学式的认知情境检验模型的概率一致性。
- 定量基准测试：设计可计算的贝叶斯推断任务，测量模型对已知后验的恢复能力。
- 下游任务影响分析：评估非贝叶斯更新对实际任务（如实验设计建议）的性能影响。
实验结果显示，单纯依赖语言模型的内部推理时，LLM 往往违背贝叶斯公式 $P(H\mid D)=\frac{P(D\mid H)P(H)}{P(D)}$，在上下文中更新信念的过程不具备一致性。然而，当为模型配备现代推理工具（如代码执行环境）后，性能出现显著提升，甚至能够逼近解析上不可求的后验分布。
这些发现表明，具备适当工具的当前 LLM 已经能够在科学发现流程中执行复杂的信念更新，从而大幅提升 AI 驱动科研的效率和规模。
点评：虽然 LLM 本身的概率推理仍有局限，但结合外部计算工具后，它们已具备实用的贝叶斯推断能力，为加速科学创新提供了新的技术路径。