摘要
LLM 驱动的多智能体系统（MAS）已成为复杂任务的有前景的范式。然而，与单智能体系统（SAS）相比，它们的优势尚不明确，性能在不同设置中表现不一致。本文从信息瓶颈的角度阐明 MAS 和 SAS 之间的差异。
我们观察到，SAS 在一个共享上下文中积累完整的推理轨迹，而 MAS 使用由有限中继消息连接的孤立局部上下文。在无限中继带宽的情况下，任何 SAS 都可以通过传输完整的上游上下文来模拟 MAS。因此，MAS 的非平凡优势出现在有限中继的情况下，其中压缩引入了基本的权衡：减少冗余上下文可以提高效率，但也可能导致任务相关信息的损失。
我们将这种权衡形式化为由有效参数 $\beta$ 控制的信息瓶颈，该参数捕捉了随着模型能力的变化，平衡如何转移，并表明当上下文减少的收益超过中继信息损失时，MAS 的优势得以产生。我们在五个基准和三个模型规模上进行了 18 次受控实验，以验证我们的理论研究。
实验结果显示，当中继接近充足时，MAS 始终有效，特别是对于较弱的模型。相反，当中继导致信息损失时，MAS 的优势缩小或反转，尤其是对于那些已经能够从冗余上下文中提取有用信息的强模型，因此从压缩中获得的收益较少。
我们的研究表明，多智能体设计本质上是一个信息瓶颈优化问题。这一视角解释了何时有限的智能体间通信会有帮助或有害。
博主点评： 该研究通过信息瓶颈的视角深入探讨了多智能体系统的优势与局限，尤其是在中继效率与信息保留之间的权衡，为未来设计更高效的 MAS 提供了理论支持与实验依据。值得关注的是，在不同模型能力下，MAS 的表现差异显著，提示我们在实际应用中需谨慎选择智能体配置。