在变换器架构中，前馈网络（FFN）模块占据了大量的参数和计算资源，但其内部结构因残差流的加法叠加而难以解读。我们探讨了一个FFN神经元的激活是否可以通过一组稀疏的前置神经元激活和注意力输出来解释。我们提出了一种无训练的归因方法，估计上游神经元和注意力输出对目标神经元激活的相对影响。实证研究表明，在不同模型和层中，仅需小部分前置激活和注意力输出就足以在用其平均值掩蔽所有剩余输入时，高保真地保留神经元激活。当考虑到上游层的固有激活稀疏性时，实际稀疏性甚至更高。此外，同时在所有层应用特定于神经元的掩蔽，导致的偏差在网络中传播时，在适度稀疏水平下，模型的困惑度几乎保持不变。这些结果表明，尽管参数密集，FFN在神经元级别上表现出稀疏且结构化的层间依赖性。我们的方法提供了一种实用且可扩展的电路级可解释性工具，并识别出潜在的稀疏路径，对高效推理具有潜在影响。
博主点评： 本文通过无训练的归因方法揭示了前馈网络的稀疏性，挑战了传统对神经元激活的理解，具有重要的理论和实践意义。未来的研究可以进一步探讨如何利用这种稀疏性优化模型性能和推理效率。