我们在 SciFact 数据集上进行了一项受控消融实验，唯一使用的工具是实时 PubMed API。保持模型骨干和输出格式不变，比较了四种框架：闭卷回答、使用主张本身作为查询的单轮检索、ReAct 风格的自行构造 PubMed 查询的代理，以及提供金标准摘要的 oracle，每种框架配备两种高效前沿骨干模型。单轮检索只能在 6% 的主张上找到金标准论文，且会把过度自信的错误转化为放弃回答，未提升整体准确率。让模型自行生成查询可将金标准召回率提升三倍，取得最高的判定准确率（62%），而其他现实框架的准确率在 49%‑59% 之间，差异在当前样本量下未达显著水平，且代理使用的搜索预算不到一半。使用金标准摘要时，同样的模型准确率提升至 79%‑86%，与前者形成 17‑24 分的显著差距，表明检索而非推理是主要瓶颈。进一步的引用审计显示，闭卷模型引用的 PubMed ID 几乎全部存在（327/335），但相关性极低：跨模型 LLM 评审仅认定 3 条为相关，而搜索代理产生的引用相关率达 67%。因此，仅检查引用是否存在不足以保障科学代理的可靠性。代码、提示词及所有缓存的工具调用已在 https://github.com/saqlain2204/real-pmids-wrong-papers 开源。
点评