大型语言模型正被用于科学助理，但缺乏评估其是否能主动调查系统的可靠方法。有效的评估需要让代理自行选择实验、解释有限证据并作出因果决策，同时在多次观察和干预中保持环境一致并保留客观真相。我们提出 ACED-BENCH（Active Causal Evidence and Decision Benchmark），它将可读的科学表层与形式化的因果世界分离：LLM 负责生成自然语言情境和任务描述，隐藏的概率图模型定义因果图、数据生成过程、干预语义、验证检查以及标准答案。这种设计让科学世界对代理友好，又足够精确以实现可扩展的程序化评估。主排行榜 ACED-CORE 包含 180 项任务：60 条集合式因果祖先/后代查询和 120 条受约束的因果决策任务。我们还提供 ACED-QUAL，使用相同隐藏 PGM 接口的 150 题是非资格检查。七个当代 LLM 与两个早期模型在三种主动代理设计下进行评估。ACED-QUAL 用于检验代理能否利用接口从证据中得出结论，ACED-CORE 则测试它们能否决定收集何种证据以及何时提交答案。证据账本分析定位了调查中的失误：错误的干预、遗漏关键证据或在已有充分证据后仍继续实验。这些结果表明，要让 AI 成为可靠的共科学家，需要显式支持实验设计、证据保留、答案提交和停止机制。
点评