稀疏自编码器（SAE）通过将激活分解为学习得到的字典原子的稀疏组合，帮助解释基础模型的表征。然而，不同训练运行得到的字典往往不一致，导致 SAE 分析的可靠性和可复现性受限。为了解决这一问题，本文提出一致稀疏字典学习（ConSDL），用每个样本的稀疏编码取代传统的线性编码器。
我们首先在合成数据上进行分析，发现单次线性编码得到的系数相较于对每个样本单独优化的稀疏编码是次优的，这表明稀疏编码是更可靠的字典学习机制。随后在 16 种合成设置中，ConSDL 能够几乎完美地恢复字典和系数。
将该方法迁移到真实任务时，ConSDL 在四个视觉和语言基准上实现了跨随机种子的一致性最先进水平，字典一致性提升 17.6%，系数一致性提升 35.9%，显著优于六种 SAE 基线的平均表现。
点评