安全对齐的大语言模型在面对直接的有害请求时往往会拒绝,但如果请求被嵌入角色扮演或叙事包装中,模型可能会给出答案。我们在英语、现代汉语和文言文三个语言/文体上评估了这种脆弱性,发现 Qwen3-1.7B 在英文攻击成功率已达 89.4%,现代汉语为 93.0%,文言文更高达 95.7%。
为系统研究该问题,我们构建了 GUISE 基准,提供平行的英文、现代汉语和文言文请求,配对有害与良性案例,并在评估时保留未见的包装类型。我们采用更严格的判定标准,将先警告后回答的情况也计为攻击成功。
表示分析表明,仅改变语言或文体只能让有害请求的向量略微偏离模型的拒答方向,而叙事包装则会把向量大幅移动,导致模型更容易给出答案。
针对这一现象,我们提出 AXIS 方法。AXIS 结合偏好优化和旋转目标,使有害请求的表示与拒答方向对齐;同时加入承诺目标,训练模型在任何情况下都直接拒绝,而不是先警告再回答。实验在 Qwen3-1.7B、Qwen3-4B 和 GLM-4-9B 上进行,AXIS 在安全性与可用性综合得分上均领先于其他对比方法。
点评