空间转录组学通过对整片切片图像进行基因表达定位,保留形态信息,为疾病机制研究和治疗开发提供重要线索。然而,传统的空间基因表达测序成本高、耗时长。现有的基于图像的预测方法主要聚焦于位置嵌入和图像结构的改进,文本信息的利用仍未得到充分探索。我们提出 GATE-ST,将基因的文本描述作为额外输入,提升图像驱动的空间基因表达预测。具体做法是将基因摘要送入文本编码器生成嵌入,再通过交叉注意力层与图像嵌入融合,使文本特征与形态特征对齐。实验中,我们将 GATE-ST 与随机基因嵌入以及多种图像‑文本融合架构进行对比,结果显示前者在预测精度上显著领先。该方法有望在病理影像分析中大幅降低空间转录组学的时间和成本,展示了文本引导的基因表达预测的潜力。
点评:GATE-ST 通过跨模态注意力实现了文本与图像的深度协同,为降低空间转录组学门槛提供了新思路。