摘要
在过去十年中，少数方法论贡献，如word2vec、Transformer、大规模预训练和基于人类反馈的强化学习，重塑了自然语言处理（NLP）和人工智能（AI）研究。OpenReview现在公开每个ICLR提交的数值审稿评分和接受/拒绝决定。然而，这些审查信号是否能在提交时识别出改变研究轨迹的论文，目前尚未在大规模语料库中进行测试。我们以2017至2025年的36,113篇ICLR论文为基础，回答了这个问题，识别出 extit{催化剂}：那些后续论文显著重定向未来研究的论文。
我们比较了四种影响力测量方法（合并/不稳定（CD）指数、node2vec、方向感知的嵌入影响力测量（EDM）和基于LLM的语义评分器），并定义了五种操作催化剂分类（主题引导者、主题桥接者、同主题重定向者、同时和识别-错位）。EDM在识别高引用的ICLR论文方面表现最佳（AUC $0.83$，而CD为$0.60$，node2vec为$0.49$，LLM评分器为$0.42$）。主题引导者的出现使主题份额增长了$7.55 imes$，主题桥接者使跨主题引用流增长了$11.52 imes$，与年匹配的对照组相比。我们发现，同行评审评分与未来影响力基本上是正交的（$| ho|{ ext{≤}}0.005$；接受和拒绝的论文在EDM均值上没有显著差异，$p{=}0.11$）。
博主点评： 本文通过量化方法揭示了影响AI研究发展的重要论文，尤其是通过EDM有效识别出催化剂的能力，强调了传统审稿评分在预测未来研究影响力方面的局限性。这一发现为未来的研究方向提供了重要的视角和启示。