摘要
科学思想通常不是从零开始的。它们继承机制，修复已知缺陷，并重新组合早期工作的部分，类似于生物基因组。当前的基准测试尚未充分探讨AI系统是否能够遵循这种继承结构。为此，我们提出了IdeaGene-Bench (IG-Bench)，这是一个用于科学血统推理和基于血统的创意生成的基准测试。
IG-Bench围绕IdeaGene框架构建：每篇论文或提案被表示为一组最小的、类型化的、基于证据的Idea Genome对象，而GenomeDiff用于对齐这些对象，以记录继承、突变、丢失、外部引入和在六种操作性进化动态下的新插入。
该基准包含1,961个黄金血统追踪、1,085个经过策划的Idea Genome对象，以及跨10个科学领域的920个成对GenomeDiff记录。它支持两种评估。
IG-Exam
IG-Exam（42种任务类型，1,029个实例）测试封闭形式的血统推理，涵盖Idea Genome抽象、继承追踪、进化推理和血统验证。
IG-Arena
IG-Arena则评估生成过程，使用基于血统的种群-进化分数（PES），考察提案是否可以作为给定血统种群的连贯后代插入：它应该继承正确的Idea Genome对象，与附近的工作有意义的变化，并为未来的研究提供选择价值。
在14个基于LLM的科学家实验中，暴露了一个组合瓶颈。最强系统在血统推理上仅达到27.3%的准确率，而结构化血统上下文重新排列系统排名，而非均匀帮助所有参与者。
博主点评： 该研究通过IdeaGene-Bench提供了一种新的视角，探索科学思想的继承与生成，揭示了当前AI系统在处理复杂科学推理时的局限性，尤其是在准确性和组合能力方面。未来的研究应关注如何提升模型在血统推理任务中的表现。