摘要
基因组语言模型在调控基因组任务中表现出色，但这些模型内部所表示的内容仍然不够明晰，且该领域缺乏验证模型中显现的“概念”是否真实的原则性程序。我们提出了一种框架，结合稀疏字典学习与因果干预，以提取、验证并因果测试基因组基础模型中的可解释特征。
通过对两种架构截然不同的模型——Nucleotide Transformer（$6$-mer 标记化）和 DNABERT-2（字节对编码）——的隐藏激活进行训练，我们恢复了数千个单义特征，这些特征与转录因子（TF）序列基序相映射。我们表明，简单地将这些特征与位置权重矩阵进行验证会受到 GC 组成和重复元素的严重干扰，产生数百个伪“TF 特征”。因此，我们开发了一种匹配组成的、结合解析的协议，以消除这些干扰。
关键的是，我们超越了相关性：通过在模型的前向传播过程中消融单个字典方向，并测量模型自身预测分布的变化，我们确定特定特征是因果地用于表示细胞类型特异性的 TF 结合，而不仅仅是基序的存在。在三个转录因子（CTCF, GATA1, REST）和两种架构中，因果验证的结合特征可重复出现（每种条件下测试的 $15$ 个特征中有 $7$ 到 $14$ 个），而两类负对照，打乱的结合标签和随机选择的特征，未检测到任何信号。该框架纯计算，使用公共数据，并为基因组深度学习中的可解释性声明提供了可重用的标准。
博主点评： 该研究通过因果字典学习方法验证了基因组语言模型中的转录因子结合特征，提供了一种新的框架来理解模型内部机制。这不仅提升了模型的可解释性，还为后续基因组研究提供了可靠的分析工具，具有重要的理论与实践价值。