随着基础模型规模和多样性的增长,将多个模型协调成合作推理系统为更安全、更可靠的人工智能提供了一条路径。本章提出了一种多智能体框架,其中求解模型生成独立的草稿,每个草稿都经过批评者代理的结构化批评和修订,最后由聚合代理合成共识解决方案。评分模块对所有代理进行语义、数值和程序评估。
通过在涵盖微积分、物理、化学、生物、经济学、优化、统计和数学的基准上的消融研究,我们分离了框架架构与模型多样性的贡献。我们比较了四种配置:(1) 个体基线,(2) 使用一个共享模型的同质框架,(3) 使用多个相同模型实例的冗余同质求解器,以及 (4) 具有多样化专业模型的异质框架。
结果表明,尽管框架结构和冗余采样带来了适度的提升,但模型异质性是推动显著性能提升的关键因素。异质配置在逐步准确性上表现卓越(0.64对比个体模型的0.54;相比同质配置提升1.2倍),并且在各类别和难度级别中减少了方差。
逐步推理质量(中间步骤的正确性,而不仅仅是最终答案)只有在模型多样性下显著改善,显示出异质代理提供了互补的错误检测和推理精化,这对可解释性和审计性至关重要。我们讨论了架构原则、评估方法以及对全球应用人工智能的影响,展示了异质多智能体协调如何支持科学和工业领域的透明、可审计、高信心决策。
博主点评: 该研究深刻揭示了多模型协作在提升AI推理能力中的重要性,尤其是在处理复杂问题时,模型的异质性显著改善了决策的准确性与可靠性。这为未来的AI系统设计提供了重要的理论基础与实践指导。