本文在受控实验中比较了单代理和多代理大语言模型（LLM）在金融信用评估备忘录审查任务上的表现。任务要求检查六项合规要求。单代理一次性检查全部六项，而由同一模型组成的三人团队每人检查两项，使用相同的提示词且没有后续角色分配。我们使用 300 份合成备忘录，已知每项要求的标签，从而分别统计漏检（misses）和误报（false alarms）。
实验在四个模型上进行，并采用 Bonferroni 校正检验两项主要预测。指令要求对每项要求只作一次决定时，团队在三个模型上比单代理多捕获 0.08~0.10 的带解释缺陷，在两个模型上达到校正显著水平。与此同时，所有四个模型的误报率均有所上升，在三个模型上达到校正显著水平。平衡准确率（exploratory measure）变化不超过 0.02，团队使用的 token 数是单代理的 2.2~2.4 倍。
向每个代理展示其未被分配的其余要求可以降低 Claude 系列模型的误报，在一个模型上达到校正显著水平。探索性比较显示，对单代理进行三次独立抽样并在任意一次标记为缺陷的情况下，其平衡准确率高于团队；此外，团队的结果对指令的细微变化十分敏感。
点评