我们评估了 AI 代理能否使用公开数据复现已发表生物医学研究的报告结果。现有评测往往未能明确区分模型的先验知识与对已发布答案的检索。为此我们构建了 BioStudyBench 基准，包含 25 项长时程分析任务，这些任务来源于 2026 年 7 月至 9 月首次发表的研究，时间均在所评估模型的知识截止点之后。任务从 404,019 条 PubMed 记录中半自动筛选得到。每项任务向代理提供一个中性研究问题，但不提供数据文件，代理必须自行查找并下载相关公开数据，使用只能检索截止日前文献的工具进行文献搜索，并通过数据分析给出结论。为量化数据与工具带来的增益，我们分别在有无数据/工具两种条件下运行所有任务。实验覆盖八个模型，结果显示，使用数据和工具时，平均通过率比无数据基线提升 47 个百分点。开放权重模型在各尺寸上均落后于闭源模型，最佳开放模型的通过率为 81.3%，而最佳闭源模型达到 94.7%。
点评