在科学研究中，科学家们越来越依赖开源工具来支持他们的工作流程，但在超过6亿个GitHub仓库中发现相关软件仍然具有挑战性。现有的代码搜索基准主要关注一般软件工程任务，未能捕捉科学计算领域特定的词汇和需求。
为此，我们呈现了一个经过精心整理的语料库，包含5,264个高质量、领域分类的科学仓库，涵盖五个NASA科学任务局的分支——地球科学、天体物理学、行星科学、日冕物理学，以及生物与物理科学。该语料库配备了清理后的README文档、提取的主题以及来自爬取链接的额外上下文。
基于该语料库，我们引入了两个新的信息检索基准：
- 一个包含219个由领域科学家设计的专家策划查询的仓库搜索基准。
- 一个大规模代码片段检索基准，包含117,950个代码片段和119,720个跨七种编程语言的查询。
在仓库搜索的基线评估中，不同科学领域的性能差异显著。而代码片段检索同样面临挑战，主要因科学社区中不同的文档实践、编码标准和编程语言习惯导致的显著差异。所有数据集和基准均已在HuggingFace上公开发布，以支持科学工具发现的研究。
博主点评： 本文为科学领域的代码搜索提供了新的视角，通过多领域数据集和基准测试，显著提升了相关软件的可发现性。这将有助于科学家们更高效地利用开源工具，推动科学研究的进步。