激活引导通过干预大语言模型内部激活来调节行为，但其机制仍不清晰。本文在四个开源模型上将拒绝引导分解为组件层面的干预，找出能够复现完整行为效果的稀疏注意力和MLP组件子集。结果显示，拒绝方向主要集中在占上游组件 28%~48% 的稀疏机制中，保留 88%~101% 的引导效果。在这些机制内部，有效信号进一步集中在约 50% 的残差流维度，保留 85%~98% 的基线效果，表明存在特权基底结构。稀疏性体现在两个层面：被引导的组件以及这些组件内部的维度。整体表明拒绝行为不是在整个Transformer中弥散，而是由可辨识的结构化机制组装，为 mechanistic 理解提供基础。代码和实验数据已在 GitHub 开源。
点评