摘要
当前大型语言模型的安全方法已知易受对抗性攻击，这促使研究更为稳健的替代方案。潜在对抗训练（LAT）是其中最有效的防御之一，但可能降低模型效用，并且需要在大量有害提示的数据集上进行训练。我们提出了潜在个性对齐（LPA），它通过对来自心理测量个性文献的66条与伤害无关的陈述进行对抗训练，取代了显式拒绝伤害的方式。
我们假设，以个性为基础的表征与伤害规避共享潜在结构，因此对其进行对抗性稳定化隐含地限制了被越狱攻击利用的子空间。
LPA在HarmBench上的攻击成功率接近零，无论是直接请求还是五种越狱方法，尽管在训练过程中从未接触过有害内容，并且在标准基准测试中没有性能损失。此外，训练过程轻量；整个过程在单个GPU上仅需几分钟，使用的示例数量比标准LAT少75倍。广泛的消融实验证明了我们方法的稳健性、效率和泛化能力。
博主点评： 本文提出的潜在个性对齐方法在安全性和效率之间达成了良好的平衡。通过引入心理学个性特征进行对抗训练，极大地减少了对有害内容的依赖，展示了新颖的思路和方法，值得在实际应用中进一步探索。该研究将为未来语言模型的安全性提供重要的启示。