在科学机器学习论文中，通常会提出计算声称，例如相对均方误差小于5%或95%预测可信区间覆盖测试数据。通过仅利用论文材料，可以提示编码代理来复现这些声称，但仅凭提示并不能可靠地保存进度或检查生成的证据是否支持论文的主张。为此，我们引入了Paper-replication工作流程，将每个选定的论文声称视为目标并记录证据，并将其实现为编码代理的技能。
该工作流程要求代理记录这些目标，重建论文的方法，进行计算实验，链接生成的输出与论文声称的来源和比较，记录在复制报告中匹配证据出现的位置，并通过验证检查后完成任务。我们对Paper-replication进行了评估，涵盖了四篇科学机器学习论文的十二次独立运行。所有十二个工作区都通过了完成门，记录的158个目标与报告覆盖率相匹配。
即使在完成的工作区状态下，重复运行在如何将论文划分为目标、与源论文的数值忠实度、复制所耗费的时间、最终证据接受之前的中间执行次数以及接受证据的规则等方面都存在差异。Paper-replication的完成依赖于工作区证据和验证检查，而不是代理的最终消息。
博主点评： 这一研究展示了编码代理在科学研究中的潜力，尤其是在验证和复现方面。通过系统化的方法，Paper-replication为科学论文的可信度提供了新的保障，值得进一步探索其应用于更广泛的科学领域。