解释视觉语言模型（VLM）的预测需要将训练样本的影响追溯到中介的多模态证据，但现有归因方法大多只在样本层面工作。最近的潜在介导影响方法能够在语言模型中提供特征层面的归因，却缺乏在 VLM 中定位影响所需的多模态和空间结构。为此我们提出 MOSAIC（Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization），它学习一个共享的稀疏图像‑文本潜在空间，其概念满足：①在每个模态内部稀疏；②在图像上对应连续区域；③与描述这些概念的短语对齐；④近似去相关。随后利用 EK‑FAC 将训练样本的影响通过这些概念分解，并将贡献定位到具体的文本短语和图像区域。我们在 Qwen 与 Gemma 上的图像描述、胸片理解和视觉问答任务进行评估。实验表明，所学特征更具局部性和一致性，且不会削弱任务性能；相较于按激活或出现频率排序的潜在变量，按影响排序的潜在变量被消除后对模型输出的影响更大。我们还发现，可视证据能够显著重组训练数据的归因，同时保留更多共享的潜在结构。MOSAIC 因此将模型行为的来源与携带影响的多模态证据联系起来。
点评