多代理系统(MAS)基于语言模型的假设是协作优于单代理系统(SAS),但何时能够带来收益尚不明确。已有研究提出能力饱和规则:当单代理准确率较低时协作有利,单代理变强后协作反而有害,交叉点约在 45% 的单代理准确率。该规则是在完全自主的基准上得到的,未涉及用户交互。
本文在用户对话情境下检验该规则,使用书面策略的双控制基准 $\tau^2$-bench,对航空、零售和电信三个领域进行实验。我们比较了同一模型构建的六种模型(来自三大家族)的标准 SAS 与中心化 MAS,累计约 7,900 条模拟对话,每个回合记录一次完成 token 账本。实验预先注册并公开变更日志;唯一未满足的有效性条件是 MAS 的规划器未见工具模式。
在固定的模拟用户下,没有任何有效单元显示 MAS 有优势:13 个有效单元中,12 个 MAS 表现更差,1 个持平,整体拟合增益为负,加权平均为 -28 分,95% 置信区间 [-44, -12]。在规则预测会有收益的两个单元,MAS 分别下降 13 分和 22 分;在没有预算上限的情况下,MAS 的 token 消耗是 SAS 的 5.5 倍,仅在接近 45% 的单元、使用第二套模拟器时出现一次微弱收益。收益随能力是否下降尚未确定,斜率 -0.41,95% 置信区间 [-1.51, +0.68],因为模型-领域效应占主导。MAS 并未显著降低错误的数据库写入,而是将其他失败转化为预算耗尽和无行动。
结论是,对直接服务用户的代理而言,SAS 是默认选择;多代理设计必须在相同计算条件下提供来自实际场景的证据。我们已公开所有轨迹、账本、提示和代码。
点评