大规模激活（massive activations）指的是在大型语言模型（LLM）中，少数隐藏通道的激活幅度异常巨大，这一现象在多种模型中普遍存在。作者发现，这种激活的出现受输入嵌入层中单一通道的控制，该通道在特定模型中位置固定，称为大规模激活门控通道（MAGC）。当MAGC的取值足够大（或足够小，取决于模型），后续的尖峰前馈网络（spike FFN）输出会呈现大规模激活。
实验在四个模型家族的六个不同规模的LLM上验证了MAGC的存在及其作用。理论分析表明，当MAGC值极端时，spike FFN的输出可以近似为二次形式： $$ \mathbf{y} \approx \mathbf{x}^T \mathbf{W}_{down}^{(S)} \mathbf{x} $$ 其中 $\mathbf{W}_{down}^{(S)}$ 表示FFN下投影矩阵的若干列，这些列本身就呈现大规模激活的形状，因而输出继承了相同的特征。
该工作揭示了LLM内部激活分布的微观机制，为解释模型稀疏性和潜在的算子优化提供了新视角。
点评