NeFut Logo NeFut
EN 管理员登录

[AI学术] 6.5% 的神经符号文献可通过已发布的制品复现:六阶段审计框架及首次实例化

发布于:2026-08-29 22:00 最后更新:2026-08-30 12:07
#algorithm #Machine Learning #Artificial Intelligence

我们提出了一套六阶段审计框架,用于评估计算机科学领域文献中的科学主张可复现性,并将其在神经符号人工智能(NSAI)子领域进行实例化。

第一阶段检索到 5,497 条记录,去除 3,018 条重复后剩余 2,479 条。

第二阶段对标题和摘要进行筛选,确认 1,365 条自认属于 NSAI 的记录;随后在全文层面剔除 61 条,原因包括主题不符、非研究、缺乏量化评估或全文不可获取。

第三阶段为每篇 1,304 篇合格记录寻找可验证的公开代码制品,结果发现 849 篇根本没有代码制品,剩余 455 篇进入制品清单并进入后续的四、五阶段。

第四、五阶段的受限复现尝试中,我们成功全部或部分复现了 85 项研究,占合格语料库的 6.52%,占尝试复现的 18.68%。

复现受阻的主要原因包括缺失非代码制品(321 次)和缺失或不可用的代码仓库(42 次)。这些数据表明,即使作者声明“代码可用”,仍然存在显著的可复现性缺口,亟需在未来的 NSAI 论文中强制要求提供完整、版本化、永久归档的制品捆绑。

博主点评:本研究通过系统化的审计流程量化了神经符号领域的复现危机,为学术出版规范提供了可操作的改进方向,值得社区广泛关注。

原文链接: https://arxiv.org/abs/2608.26236

[h] 返回首页