稀疏自编码器（SAEs）已成为实现机制可解释性的有前景技术，通过学习一组稀疏的潜在特征来编码不同的概念。然而，在视觉-语言模型（VLMs）中，传统SAEs在学习模态一致的概念时面临挑战，概念在视觉模态中往往表现出碎片化覆盖（即不相交区域）。为了解决这一问题，我们提出了一种结构稀疏自编码器（$S^2AE$），从语义和空间两个角度强制执行概念一致性。
我们基于Transformer注意力相似性和空间邻近性对图像块进行分组，并在训练传统SAE时引入结构稀疏性正则化。该正则化包含对组间概念解缠的独占稀疏性和组内概念一致性的组稀疏性，促使SAE的潜在神经元专注于不同的、语义上扎根的概念。
在\texttt{Qwen2.5-VL-7B-Instruct}模型上的评估显示，该方法在语义对齐（mIoU）上实现了6.06%的平均提升，代表性效率（较低的l0范数）达到了60.81，同时保持了接近完美的重构保真度，解释方差超过99%。跨模态分析进一步证明，$S^2AE$通过这一视觉结构先验增强了神经元的单语义性，实现了多模态特征在语义一致性上的平均增益3.08%和单语义性得分的平均增益2.37%，从而促进了更连贯和解缠的表示。
博主点评： 该研究通过引入结构稀疏性正则化，成功提升了视觉-语言模型的概念一致性，显示了稀疏自编码器在跨模态学习中的巨大潜力。结构化方法为未来的多模态学习提供了新的思路，值得深入探索。