我们提出了 PhysClosureBench,用以检验 AI 代理能否组织完整的物理科研过程。基准包含 50 项经专家验证、明确研究目标的任务,覆盖强场、阿秒及其相邻领域。每项任务给出研究目的和必要的科学约束,剩余的实验设计、数据生成与验证全部交由代理自行决定。
为量化局部科研表现,我们设计了 20 条准则的 Atomic Score,满分 10 分。为评估整体闭环程度,引入 Research Closure 等级 RC0‑RC4,依据是否满足不可或缺的证据需求和适用范围条件来判定。
在七个前沿大模型中,Claude‑Opus‑5 获得最高平均 Atomic Score(6.29/10),但仅在 32.7% 的尝试中达到 RC4。整体来看,36.2% 的得分 ≥8/10 的尝试仍未实现 RC4;所有模型在三次运行中达到 RC4 的任务数量均显著低于至少一次出现 RC4 的次数。案例分析表明,生成结果的误读以及未解决的物理适用性限制是导致闭环不完整的主要原因。
这些发现揭示了 AI 代理在局部科研成就与实现完整研究闭环之间仍存显著差距。
点评