大型语言模型（LLM）代理能够在几乎无需人工监督的情况下持续数月进行科学实验，但真正可靠的自主研究还需要科学判断。判断的评估十分困难，因为研究决策往往是开放式的并且依赖具体项目背景。为此我们构建了 SciΠvot——一个基于人工纠正记录的 248 案例基准，用以衡量科学判断能力。该基准来源于六个月的研究过程，资深研究员在 26 项跨六个科学领域的项目中运行 LLM 代理，并多次介入纠正其判断。每个案例中，代理只能利用纠正前的项目记录，在原始 LLM 计划和人工纠正的备选方案之间做出选择。我们比较了 LLM 与人类的表现，并考察了推理力度、是否可访问项目记录以及是否重新考虑的影响。结果显示，在中等推理力度且提供项目记录的条件下，模型倾向于选择原始 LLM 计划而非人工纠正方案；五个前沿模型中有四个的准确率低于随机水平。所有模型在项目记录条件下的最高准确率为 63.5%，而新进研究员可达 73.4%。在中等推理力度时，每个模型在有项目记录时的准确率均低于无记录时，重新考虑并未显著提升整体准确率。即使提供了人工纠正的备选方案，前沿模型在所选研究决策上仍表现不佳，而 SciΠvot 为系统评估 LLM 代理的科学判断提供了可靠平台。
点评