摘要
我们介绍了机构红队评估方法，用于测试多智能体AI中的部署规则：保持智能体、目标和任务状态不变，仅改变一条规则，并将集体行为的变化归因于该规则。我们在IABench-CA中实现了这一方法论，这是一个涵盖228个上下文、五条经典规则和七个模型群体（33,924场游戏）的后果分配基准，具有规范的合作参考和自动标记的推理轨迹。
主要发现
-
部署规则会因果性地改变集体安全性：仅改变结果规则，平均致死率在每个群体中变化幅度为22到58个百分点。
-
没有安全的默认规则，但目标危害是普遍存在的：最安全的规则、最不安全的规则，甚至影响效果的方向在不同群体中各不相同，但回归性身份目标在任何上下文中对于任何群体都不是绝对安全的，且在30-87%的游戏中消灭资源最少的智能体；相较于合作参考，该规则对所有七个群体都是选择不安全的。
-
身份显著性是机制：对最易被剥削的群体（gpt-5.1）进行一次性匿名化消融实验显示，仅在规则文本中命名损失承载者，便可将目标消灭率从22%提升至81%，在相同收益下；在重复游戏中，匿名化仅延迟了目标设定，因为智能体会根据观察到的消灭情况重新推断隐藏规则。
我们将该方法论包装为安全案例工作流，针对每个部署上下文和群体认证一个临时规则区域 $\text{\Phi}(c,P)$，并明确残余风险和监控义务。
博主点评： 本文提出的机构红队方法为多智能体AI的安全性提供了创新的评估框架，强调了部署规则的关键性。通过量化不同规则对集体行为的影响，研究者为智能体系统的设计和优化提供了重要的实证依据，尤其是在目标设定与资源分配方面。该方法的实施有助于识别潜在的安全隐患，推动AI领域的进一步发展和规范化。