摘要
可重复性危机促使AI研究社区改善文档实践。多项研究已识别出方法论问题，因此该领域的主要会议引入了可重复性检查表。我们旨在通过评估过去十年在五个领先AI会议上发表的所有论文，了解文档实践是否发生了变化。我们识别了七个可重复性变量，对56800篇出版物进行了质量保证与分析。
我们的分析显示，从2014到2024年，文档实践有了显著改善；同时分享代码和数据的论文比例几乎增长了六倍，从11%上升至64%。基于之前研究的实证可重复性率，我们估计——通过文档实践推断，而非直接测试——可重复性从2014年的28%上升至2024年的64%。文档实践的改善早于可重复性检查表的引入，表明这些变化反映了向开放科学更广泛运动的转变，而非对正式要求的直接响应。
博主点评： 本文通过量化文档实践的改进，展示了AI研究界对可重复性问题的重视，反映了开放科学理念的逐步落实。研究结果为未来的研究提供了重要的参考，强调了透明性与共享的重要性。