摘要
AI 工具正在加速科学出版，而审查这些出版物的系统却难以跟上，独立验证已发表研究变得愈发重要且困难。手动复制过程缓慢且成本高昂，因此，越来越多的工作开始利用编码代理自动化这一过程的部分环节。目前现有的努力大多以基准测试的形式呈现，伴随的代理仅在基准测试的管道内运行，并不存在通用的复制工具。
我们提出了 VERITAS，一个以 CLI 编码代理为基础的领域无关复制框架。给定一篇论文、一个代码库或两者，VERITAS 能够提取论文中的主张，执行方法论并在出现问题时进行处理，并根据实验运行的证据来判断每个主张的有效性。该流程返回一个重要性加权的复制评分、每个修复的严重程度记录以及修补后的代码库。
我们在 CORE-Bench 和 ReplicationBench 上评估了 VERITAS，涵盖了计算机科学、社会科学、医学和天体物理学的 65 篇论文。与在相同模型和主机环境下的两个强大 Claude Code 基线相比，VERITAS 在每个基准的所有指标上均实现了最先进的性能。
博主点评： VERITAS 的出现填补了科学研究复制工具的空白，通过自动化处理复制过程中的复杂环节，大幅提高了验证效率。这一工具不仅对研究人员的工作流程有直接影响，也为科学研究的透明性与可信度提供了新的保障。其跨领域的适用性和优秀的性能表现，预示着未来在科研领域的广泛应用前景。