多模态大语言模型(MLLM)能够对社会和情感内容进行大规模标注,但其随时间变化的与人类判断的一致性以及对神经信号的预测价值仍需评估。我们选取了基于扩散和自回归两类 MLLM,分别对三部短篇卡通电影的连续人类 Theory of Mind(ToM)和情感价值(valence)评分进行比较。行为分析包括时间对齐的 Pearson 相关、评分分布以及前置场景描述的影响。随后将每种评分单独输入受试者特异的回归模型,以预测局部 fMRI 响应。结果显示,尽管模型评分在分布上与人类存在系统差异,但仍捕捉到人类时间变化的部分特征,且在情感价值上的对齐普遍强于 ToM。前置上下文在某些模型和电影条件下提升了对齐程度。特别是在《The Present》中,显著编码 MLLM 评分的脑区数量超过人类评分,而在其他两部电影中此效应较弱。不同评分来源的空间重叠主要出现在 MLLM 之间,人类与模型的重叠局限于视觉、背侧注意和后部默认模式网络等区域。总体而言,MLLM 可作为生成可预测大脑活动的社会情感标注的可扩展工具,但需注意其系统性评分差异以及模型与刺激的依赖性对齐差异。
点评