[AI学术] 突破性技术：Jailbreak Foundry 实现可复现的攻击基准评估

Jailbreak 技术在大型语言模型（LLMs）中的发展速度远超基准评估，使得稳健性估计变得陈旧且难以在论文间进行比较。这篇文章介绍了 JAILBREAK FOUNDRY (JBF)，一个通过多代理工作流将 jailbreak 论文转换为可执行模块的系统，从而实现统一的评估。

JBF 主要由三个核心组件构成：

1. JBF-LIB：用于共享合约和可重用工具。
2. JBF-FORGE：实现多代理的论文到模块转换。
3. JBF-EVAL：标准化评估。

在 30 次复现的攻击中，JBF 实现了高保真度，平均复现攻击成功率（ASR）偏差为 +0.26 个百分点。通过利用共享基础设施，JBF 将攻击特定的实现代码减少了超过一半，相较于原始代码库，重用代码比例达到了 82.5%。

该系统实现了一种标准化的 AdvBench 评估，涵盖 30 次攻击和 10 个受害模型，使用一致的 GPT-4o 评审。通过自动化攻击集成和标准化评估，JBF 提供了一种可扩展的解决方案，帮助创建与快速变化的安全格局保持同步的基准评估。

博主点评： JBF 的出现标志着安全领域的一大进步，通过将研究成果转化为可操作的模块，极大地促进了对安全攻击的标准化评估。这种方法不仅提升了复现性，还为未来的研究提供了强有力的工具，值得关注和推广。