AI控制是一系列技术，旨在防止具有恶意目标的AI颠覆其操作员的意图。传统的AI控制通常研究单个智能体在单一路径中的表现，但实际部署涉及许多智能体在共享基础设施上运行，最严重的风险（模型权重外泄、训练过程毒化）显然需要多个智能体协同作战。
我们开始了多智能体AI控制的实证研究，形式化了分布式攻击，即多个智能体共同追求恶意目标的情况。
我们开发了FakeLab，这是一个合成的AI实验室代码库，包含9个服务、86个良性任务和4个攻击目标。我们评估了单个智能体监控对分布式攻击的应对，变量包括智能体数量、协调程度、模型能力和监控配置的精确度。
我们的核心发现是“碎片化效应”：随着更多智能体协调攻击，单个智能体的监控变得更不可能捕捉到任何攻击者。其次，这并不是由良性代码与恶意代码的比例驱动的，我们认为这可能与模型能力有关。
第三，显式规划者加剧了碎片化效应，使攻击完成率提高至七倍，并轻微地提高了执行者的监控理论理解能力。最后，一个弱“受信任”的监控器错过了大多数攻击，而一个更强的监控器则将未被检测的成功率降低了一个数量级，但仍然不完美。
我们乐于应请求与安全研究人员分享我们的控制设置FakeLab。