NeFut Logo NeFut
EN 管理员登录

[AI学术] 注意力看见,MLP拒绝:追踪LLM中注意力到MLP的安全路径

发布于:2026-10-12 22:00 最后更新:2026-10-13 00:57
#AI #Machine Learning #LLM

安全对齐的大语言模型(LLM)仍然容易被 jailbreak 攻击,并且在面对无害请求时会出现过度拒绝。要解释这些失效,需要把“识别有害性”与“写出拒绝”这两步区分开来。我们把它重新表述为一个路径问题,并在解码器‑only Transformer 的残差流(residual‑stream)更新上进行可度量的拆解:

在 18 对 Base‑Instruct 模型(覆盖 Qwen、Llama、Gemma)中,注意力层的更新更容易解码出有害性,尤其是前几层;而 MLP 层的更新在对齐模型中对“选择性拒绝”贡献更大。后训练(post‑training)会加强所有模型中 MLP 的拒绝写作,但并不会系统提升有害性可解码性;相反,正向(non‑refusal)写作在后训练后更集中于更深层。

在六个具备推理能力的模型上,推理过程仍然保留有害性信号,而强拒绝写作则在答案生成的起始阶段集中出现,这一模式在关闭推理时仍然存在。因果干预实验进一步验证了路径假设:将下游 MLP 的更新恢复为干净值,可显著削弱上游注意力干预导致的拒绝偏移。

基于这些发现,我们提出 Sentinel。Sentinel 将注意力层衍生的感知得分 $P$ 与 MLP 层衍生的决策得分 $D$ 组合,形成联合特征。该特征能够区分 jailbreak 与过度拒绝情形,并在八个模型上通过条件路由实现比单一信号路由或固定提醒更低的整体错误率。

点评:本文提供了细粒度的模块级解释,揭示了注意力负责“看到”有害内容,MLP 负责“写出”拒绝的功能分工,为安全对齐提供了可操作的干预方向。

原文链接: https://arxiv.org/abs/2610.13078

[h] 返回首页