AgentPolicyForge 是一个利用可执行环境自动生成策略基准并迭代训练策略防护(guard)的框架。它通过在真实工具调用中记录执行结果,判断调用是否符合预定义的工具、资源和执行条件策略。\ \ 框架首先构建 PolicyGym 数据集,覆盖十个策略族,使用 698 条场景生成训练样本,并保留 254 条经人工审查的持出测试场景。每个违规案例都使用了被允许的工具,防护需要检查参数、资源和上下文,而非仅凭工具名称。\ \ 在迭代训练过程中,攻击者利用检索到的攻击策略生成请求,防护模型在环境验证的平衡样本上进行微调。实验表明,即使归档(archive)保持不变,训练也显著提升了策略执行率;若同步更新归档,域内攻击成功率进一步下降。\ \ 与单纯的策略提示相比,基于防护模型的配置在 PolicyGym 上实现了 40%~44% 的相对攻击成功率下降,并且误拒率更低。\ \ 点评