语言模型在提示中出现非证据上下文时准确率会下降。非证据上下文指与查询无语义重叠的无关陈述或随机离散 token，且没有竞争答案。这类噪声在检索增强、工具使用和长上下文部署中普遍存在，但缺乏机制解释。我们将腐败归因于“入侵路径”。该路径首先由 MLP 对查询主体和无关 token 的表示进行增强；随后“鹦鹉头”将前缀 token 内容复制到预测位置；而“关系阅读器”主要回避无关来源。尽管主体增强和选择性阅读得以保留，整体计算仍受到入侵。进一步定位发现，一小部分注意力头——我们称为入侵头——承担主要干扰。这些头的前缀写入促进了干扰内容，而它们对正确答案的支持减弱主要来源于非前缀贡献的削弱，而非前缀的直接抑制。相同的入侵头在不同任务和干扰类型之间迁移，并且在权重上与整合相关证据的头基本不重叠，从而可以进行类别条件干预。我们用一个 oracle 探针，将受损的最后 token 残差替换为干净前向传播得到的对应值，平均恢复了四个下游任务中 97.6% 的性能下降。实际可部署的方案是屏蔽约十个注意力头（约占模型注意力头的 1%），在对有益上下文的影响有限的情况下恢复了 57% 的性能。\n\n点评：该研究揭示了注意力机制中少数头对噪声敏感的机制，为高效干预提供了实用路径。