NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向知识增强的单细胞基础模型

发布于:2026-09-16 22:00 最后更新:2026-09-18 00:46
#AI #Machine Learning #Neural

单细胞基础模型(scFMs)近年来主要依赖大规模转录组预训练,但单纯扩大数据规模往往收益递减且计算成本显著提升。我们通过数据尺度分析发现,引入生物学知识——包括细胞层面的文本注释和基因层面的调控信息——能够提供比单纯增大样本量更有效的扩展维度。基于此观察,我们提出了 scKITE,这是一种结构简洁却效果突出的 scFM。scKITE 在共享的转录组 Transformer 编码器上加入轻量级的辅助解码器,用于在预训练阶段注入细胞注释和基因调控的监督信息;预训练完成后,这些解码器被丢弃,仅保留已融合生物知识的通用编码器用于下游任务。实验中,scKITE 仅使用 179,067 条预训练样本(约为已有强力 scFM 的 0.5%),便在多项下游任务上超越了这些模型,验证了知识增强预训练作为构建生物学驱动的 scFM 的可行路径。

点评

原文链接: https://arxiv.org/abs/2609.14970

[h] 返回首页