在同行评审阶段，可重复性检查需要明确作者代码应当复现的内容。我们提出一种作者参与的协同审计方式，将作者的声明作为 AI 代理调查与评估的显式输入。作者通过结构化清单记录复现指令和已知限制，随后在 GitHub 上启动两阶段工作流：第一阶段，代理根据清单执行自动检查并生成初步报告；第二阶段，作者根据报告进行说明或修正，代理再次评估。代理分别判断结果是否已复现以及是否需要作者进一步澄清或修复，而人工审稿人负责批准代理的请求并判断问题是否已解决。我们在一次会议中对 36 篇论文的 133 张实验表格和图形使用该系统，人工复审后共发现 20 条问题。后续检查表明所有问题均已得到处理，尽管部分实验仍未完全验证。我们还比较了使用完整清单和空白清单的重复审计，观察到作者声明对代理的调查路径和评估结果有显著影响。该工作提供了一套协同工作流和代理设计，利用作者知识引导可重复性审计，并在实际会议部署中展示了通过作者、代理和审稿人合作识别并解决可重复性问题的可行性。
点评