简介
随着生物领域对大型语言模型（BioLM）的需求不断增加，亟需为模型提供真正理解生物学的训练语料库。然而，现有的生物资源如分子数据库、蛋白质库、基因组注释、单细胞图谱以及通路数据库等，分散在各种异构格式中，尚未组织成一个统一的语料库来进行语言模型训练。
TheBioCollection
我们提出了 TheBioCollection，这是一个包含 526 亿个标记的预训练规模语料库，将这些不同的资源转化为统一的、适合训练的形式，涵盖小分子、蛋白质、基因组序列、细胞和通路。
除了整合现有数据，TheBioCollection 还为每个记录丰富了工具计算的生物属性，并引入了新的指令任务，以覆盖当前语料库几乎未涉及的能力。
评估与结果
我们将该语料库与 TheBioCollection-Eval 配对，这是一个匹配的评估套件，涵盖分子、蛋白质、基因组、细胞和跨领域的识别、生成和预测任务。
在保持基础 Gravity-16B-A3B 架构固定的前提下，使用 TheBioCollection 训练后，其在 TheBioCollection-Eval 上的整体得分翻倍，且各个领域均有所提升，同时基本的语言能力几乎保持不变。
博主点评： TheBioCollection 的推出标志着生物学领域大型语言模型的训练迈出了重要一步，其整合和丰富的数据资源不仅提升了模型在特定生物领域的表现，也为未来的研究提供了新的可能性。这样的突破将有助于推动生物信息学与人工智能的深度融合。