本研究使用 SCRIBE——一种覆盖 65 种神经认知语义属性的可解释上下文语义表示——来解析大型语言模型 LLaMA2-7B 与大脑活动的对应关系。我们在七名受试者的自然语言 fMRI 数据(收听 Moth Radio Hour 故事)上,对 LLaMA2-7B 的预测信号与 SCRIBE 表示进行方差划分(variance partitioning),将两者共享的脑预测方差与各自独有的方差分离。
结果显示,整个大脑以及语言相关区域的共享方差占主导,而两种表示均保留显著的独特贡献。进一步分析语义属性的具体性(concreteness)与共享、SCRIBE‑独有方差的关系时,具体属性在全脑和大多数感兴趣区域中产生更大的共享方差;抽象属性并未在 SCRIBE‑独有方差上表现出优势。
最后,通过逐项剔除(ablation)语义属性,我们发现语义信息在多个维度上对共享方差和 SCRIBE‑独有方差都有累积效应。总体而言,LLaMA2-7B 在本数据集上的脑‑LLM 对齐很大程度上来源于可解释的语义信息,同时也揭示了超出模型自身表示的补充性脑预测语义信息。
点评:该工作展示了将神经认知语义框架与大语言模型结合的可行性,为解释脑-LLM 对齐提供了细粒度的视角,也提示了模型之外的语义维度在大脑语言处理中的潜在作用。