NeFut Logo NeFut
EN 管理员登录

[AI学术] AutoRedClaw:爬爪式代理的自动化红队测试

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #Open Source

Agent 系统正从仅完成单一任务的工具型代理转向持久化、个性化的爬爪式助手(如 OpenClaw)。这类代理会维护配置文件(AGENTS.md)、长期记忆和可复用技能,一旦被投毒,持久化状态会在每次加载时重复出现,形成跨任务、跨会话的长期威胁。现有的安全评估体系依赖人工构造的测试用例和环境,难以覆盖爬爪式系统的复杂性,且随着代理演进这些用例很快失效,评估场景与真实部署存在差距。

为此我们提出 AutoRedClaw——一个自动化红队框架,能够生成完整的攻击流程及其执行环境。框架采用严格的质量检查协议并结合基于执行的验证,确保生成样本的正确性、真实性和有效性;同时使用任务驱动的环境构建方式,将成本控制在极低水平。为了实现广覆盖,AutoRedClaw 按风险类别、攻击策略、攻击阶段和攻击面组织生成,并利用经验引导的探索将生成倾向于未充分探索的区域。

实验表明,AutoRedClaw 在每成功样本成本低于 $0.10 的情况下,攻击成功率超过 30%。基于其输出我们构建了 RedClaw-Bench,包含 330 条案例,其攻击成功率显著高于 AgentDojo、AgentDyn 和 DTap。跨七种评估框架和四个前沿模型的测试显示,大多数代理系统的攻击成功率超过 50%,说明该红队流水线即使在最先进的代理上也能提供强有力的安全评估信号。代码与基准已在 https://github.com/SaFo-Lab/AutoRedClaw 开源。

点评:AutoRedClaw 通过自动化生成高质量攻击样本和对应环境,填补了爬爪式代理安全评估的空白,为研究者提供了可扩展、低成本且可信的红队测试工具。

原文链接: https://arxiv.org/abs/2610.27244

[h] 返回首页