近年来,基于大语言模型(LLM)的多代理系统快速发展,但仍表现出脆弱性,常出现推理和协同错误,导致系统级别的失败。传统的失败归因依赖追踪代理之间的自然语言交互,寻找决定性错误——即最早的、若纠正即可逆转系统失败的动作。
面临两大挑战:
- 归因浅显——现有方法往往捕获轻微偏差(如检索不完整、格式错误),这些偏差可被验证机制修正,却遗漏了真正导致系统崩溃的决定性原因。
- 上下文退化——系统轨迹长度增长时,模型的推理能力急剧下降。
为克服上述问题,本文提出 DCFA,一种无需额外训练的失败归因框架。DCFA 包含:
- 全局模块:从系统轨迹构建结构化的因果依赖图,定位最初的决定性错误。
- 局部模块:基于局部反事实推理,对全局得到的因果归因进行细化,提升归因精度。
在 Who&When 基准上对六种主流 LLM 进行实验,DCFA 在步骤级准确率上相较于最先进的基线提升最高 8.27%。
点评