验证 AI 代理撰写的研究论文中的数值主张是重要且困难的任务。现有基准显示，许多代理生成的论文未通过完整性检查，但这些判断往往只由单一 LLM 给出，缺乏对错误性质的解释，且检查手段仅限于内部一致性或是否在代理输出中出现相同数值。
我们重新分析了近期公开基准中 540 条判决（涉及九个代理、十五个开放研究问题），并对 18 篇提交中的 256 条数值主张进行人工标注。错误主要集中在论文与底层实验之间的对应关系，而非明显的作弊行为；约四分之五的无依据主张对应的是代理自身文件中来自错误实验、指标或运行的数值。
为此我们提出了一种确定性的“主张‑证据”检查器。该检查器在标注前固定规则，评估上下文是否指明所声称的结果，并使用数值诱饵进行校准。对盲注释者的验证显示，其精度超过 90%（78/85），Cohen's kappa 为 0.89。检查器只验证部分主张，但大多数未验证的仍可追溯，未验证并不等同于错误。
在相同证据下，LLM 验证器能够恢复更多可追溯的主张，却误归属约三倍的错误主张。因此，两者结合使用效果最佳。
将检查器应用于 99 篇提交后，发现不同代理的可追溯性差异显著。使用另一家供应商的评审仍保持官方的代理排名，同时通过率提升两倍。
这些结果表明，审计 AI 生成的研究应以来源可追溯性为首要原则。
点评