在大型语言模型(LLM)辅助的软件安全领域,漏洞分析的术语与滥用相关的术语之间的界限非常模糊。现有的安全性和网络安全评估往往比较无关的模型家族,这使得安全行为与架构、规模、训练数据和部署的差异混淆。为了解决这一问题,我们研究了安全状态:在同源模型中,拒绝行为是保持不变(Aligned)还是被消除(Abliterated)。我们探讨了这一安全状态如何影响软件安全工作流程中的防御效用。
我们比较了经过对齐指令调优的模型与两个模型家族(Gemma和Qwen)中公开发布的拒绝消除后代。我们在漏洞检测、CWE归因、漏洞行定位、根本原因定位和可执行补丁验证等方面评估了Aligned和Abliterated状态。我们进一步将提示词视为一个控制框架维度:提示以中立的代码审查语言开始,添加授权上下文,并变化网络安全术语的密度。
在基于Gemma的Java/Vul4J修复验证研究中,Abliterated在早期验证率上表现更佳,67.8%、65.0%和32.8%的补丁被判断为可用、成功应用和成功编译,而Aligned的对应数据为29.9%、24.9%和9.0%。在Qwen对比中,Abliterated提升了定位性能,行级F1从2.08%提高到3.91%,Top-1准确率从4.10%提高到6.95%。这些发现表明,基于LLM的安全助手评估应同时测量模型是否响应、可用响应是否正确以及其输出在工程工作流程中是否仍具可操作性。
博主点评: 本文通过同源模型的比较,深入探讨了LLM在软件安全中的应用,揭示了拒绝行为的消除如何提升漏洞检测的有效性,具有重要的理论和实践意义。未来的研究可以进一步探索不同模型架构对安全性能的影响。