NeFut Logo NeFut
EN 管理员登录

[AI学术] X-AgentRed:在演化的多服务生态系统中对个人代理进行红队测试

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

个人代理通过调用工具与网络和应用服务进行交互,随着动作效果在不同服务间累积和相互作用,原本良性的用户请求也可能导致意外或有害的结果。要主动发现这些组合失效,需要系统地探索跨服务的多样路径。现有的红队方法通常让大模型直接从任务或环境描述中生成潜在有害路径,或把人类或模型指定的有害目标拆解为看似无害的动作组合。然而,这类生成受训练数据中常见模式的偏向,容易只覆盖熟悉的工具组合,忽视新颖的跨服务交互。为此我们提出 X‑AgentRed——一个自我进化的红队框架,通过工具依赖图发现有害的工具调用路径,并利用执行反馈不断扩展和细化这些路径。框架首先分析每个工具的作用、潜在危害以及执行前置条件,构建有向图,图中的一条边表示前一个工具的效果可以满足后一个工具的前置条件。随后从图中采样“配方”,将其实例化为真实场景,观察代理是否会产生有害结果。执行反馈用于两方面的自我改进:一是通过工具替换多样化产生危害的路径,二是对执行失败的步骤调整前置条件,以便后续继续执行。实验在四种前沿代理模型上进行,X‑AgentRed 的有害路径率是 STAC 的 $1.77\times$,且平均工具覆盖率提升至 $2.99\times$,显示出更广的工具探索能力。

点评

原文链接: https://arxiv.org/abs/2610.13886

[h] 返回首页