摘要
提升大语言模型（LLMs）的任务性能至关重要，但扩展这些模型面临着收益递减和高成本等重大挑战。多智能体系统（MAS）通过将任务分配给专业代理，提供了一种有前景的解决方案，以提高整体任务性能。这种方法虽然可以降低训练成本，但由于讨论和决策过程的增加，测试时间也随之延长。
决策协议是MAS的关键组成部分，它规定了多个代理如何协作以生成最终解决方案。本文介绍了多智能体大语言模型（MALLM）框架，该框架实现并评估了多种决策协议，包括投票、共识和裁判决策机制，以模拟多智能体讨论进行对话任务解决。与之前的研究不同，后者仅使用单一决策协议或在有限数据集上进行测试，本研究系统性地考察了这些协议在多样任务集上的影响，这些任务包括基于知识的数据集（MMLU、MMLU-Pro、GPQA）和基于逻辑的数据集（StrategyQA、MuSR、Math-lvl-5、SQuAD 2.0）。
结果表明，在知识密集型领域，共识协议表现优异，而投票和裁判协议在逻辑任务中更为有效。通过独立生成解决方案来增加响应多样性，可以提高决策质量，而在决策过程中信息获取的变化对结果影响不大。
博主点评： 本文通过引入多智能体框架和多种决策协议，为大语言模型的应用提供了新的视角。尤其是在知识密集型任务中的共识协议表现突出，显示出多智能体系统在复杂任务中的潜力，值得进一步研究和实践。