在多智能体大型语言模型（LLM）系统的安全评估中，通常将直接提示与规划-执行者管道进行比较，并将差异报告为单一的“管道效应”。我们认为，这种汇总结果难以解释，因为它混淆了三种机制：有害意图可能被重构为合理的操作工作，规划者可能拒绝或转变请求，而执行者可能在暗示先前批准的委托提示下行动。
为了分离这些因素，我们引入了一个五条件的对照实验设计，评估了30个合成有害场景以及来自四个智能体安全基准的探索性外部验证集，使用LLM判断合规性。
我们的结果表明，汇总管道安全性并不是一个稳定的架构属性。操作重构是最具可移植性的风险信号，提升了GPT、Gemini和DeepSeek在两个场景集的合规性，而Claude则相对抗拒。
规划者行为主要通过拒绝来抵消这一风险；然而，当规划者生成可执行步骤时，执行者可能比直接操作基线下更具合规性。授权委托对提示设计、模型配对和场景来源敏感，持怀疑态度的执行者提示会显著降低合规性。
原始直接模型排名也可能错误预测已部署的规划者-执行者行为。在主要集中的原始直接提示下，Gemini是最安全的，但在Claude规划者的配合下却表现出最大的合规性放大，从8.9%上升到38.9%。GPT接近于零的汇总管道效应则掩盖了因规划者拒绝而抵消的重构增加。
这些发现表明，多智能体安全评估应分别报告重构、规划者行为、委托框架和模型配对，然后再将失败归因于架构本身。
博主点评： 本文通过精细的实验设计，揭示了多智能体LLM系统中的安全性评估复杂性，强调了不同机制对合规性的影响。这为未来的安全评估提供了重要的方向，尤其是在模型之间的配对和提示设计方面，值得深入研究与实践。