多智能体大语言模型(LLM)系统通过辩论、证据共享和相互纠错来提升推理能力,但交互过程也会产生难以用最终准确率解释的失效现象。常见的失效模式包括:过早收敛、忽视异议、压制少数正确答案以及在多轮对话中保持错误的框架。我们基于 3,211 条失败的多轮轨迹,构建了一个面向医学问答、代码生成、金融分析、多跳推理、伦理判断和具身文本任务的语料库驱动分类体系。利用该分类体系,我们对不同数据集和系统设计的失效分布、轮次错误动态、恢复难度、主流转变、少数信号抑制以及自报告置信度进行了系统分析。结果显示,失效主要来源于恢复/纠错和共识/决策问题,而非单纯的首轮错误,且多数错误在智能体首次观察到同伴回复后出现。基于这些发现,我们建议在系统中加强分歧处理、证据验证、少数信号保留以及在最终输出前进行恢复检查。
点评