在大规模的 LLM 训练中，安全对齐无疑是一个重要步骤。然而，安全对齐在概念上并未区分不同领域及查询的潜在危害等级，这在网络安全等领域中造成了重大复杂性，模型在执行合法授权操作时不应受到安全机制的限制。
本研究分享了我们在 24 个开源 LLM 上进行的大规模消融实验的发现，并证明了使用标准方法在 1T 参数的 Kimi K2 上实现领域特定消融是可行的。基于最近的研究表明，LLM 中的拒绝占据了多维子空间，我们发现这种拒绝在各层中广泛分布，尤其是在万亿参数的 MoE 架构中。因此，我们旨在捕捉代表网络安全领域有害概念的部分。
此外，我们还研究了模型特征与领域特定消融效果之间的相关性，识别出安全训练类型和架构是最可靠的预测因素。最后，我们将模型分为 3 个消融敏感性层级，并提出了一系列关于为何在特定模型中可能观察到此干预效果的猜测。
博主点评： 本文深入探讨了安全对齐在网络安全中的局限性，强调了领域特定消融的重要性。通过对多个模型的分析，研究揭示了安全训练和架构对模型表现的显著影响，促使我们反思如何在保持安全性的同时提升模型的实用性。