可重复且分析稳健的研究成果是科学进步的基石，但评估这些属性往往需要大量人工投入。本文探讨了大型语言模型（LLM）代理能否自动化实现再现和稳健性分析，以美国癌症登记系统 SEER（Surveillance, Epidemiology, and End Results）数据库为案例。
我们首先构建了 SEER‑Repro 基准，收录 20 篇基于 SEER 的已发表论文，并提供完整的数据与资源，以便复现其结论。随后，设计了一个 AI 代理，对 2,190 条原子化声明进行再现，成功率达 77.4%，并生成可直接运行的基线代码供后续分析使用。
进一步，我们搭建了一个代理式分析流水线，自动识别每项发现背后的分析选择，提出合理的替代方案，并重新运行分析以检验结论是否受这些选择影响。实验表明，在全部成功复现的发现中，9.5% 存在可能影响结论的关键分析选择，系统会将其标记供专家复审。
这些结果表明，LLM 代理能够在科学审稿过程中发挥作用：不仅能够高效复现研究成果，还能系统化地测试其稳健性，并将潜在风险点精准指向专家审查。
点评