在基于大语言模型(LLM)的多智能体系统(MAS)中,单个智能体的局部错误会被后续智能体继承,导致原本可纠正的失误演变为任务失败。传统做法要么在任务结束后诊断,要么反复重跑寻找修正点,这既耗时又无法在执行过程中提供可学习的干预策略。
ARIA(Agent Runtime Inspection and Amendment)框架的核心思路是:把已经验证过的修正过程转化为可复用的监督信号,将修正搜索搬到数据构建和模型训练阶段,使得训练好的模型能够在运行时直接介入,而无需再次遍历所有备选方案。
我们首先在四个多智能体框架、六个基准任务和八种底层模型上收集了超过 24,000 条成功与失败的执行轨迹,并据此构建了 ARIA 数据集——目前已知的首个大规模配对失败轨迹与执行验证修正的数据集。数据集包含 3,953 对经验证的修正样例,每条样例明确标注了错误类型、介入位置以及后续的正确执行方式。
基于该数据集,ARIA 框架实现了与具体 MAS 解耦的运行时检查与修正接口:只要 MAS 能输出执行轨迹并支持在任意时刻替换后续执行,即可接入 ARIA。我们使用这些验证过的修正对一个轻量模型进行监督学习,使其能够判断何时需要干预以及如何修正正在进行的任务。模型的目标是学习通用的修正策略,能够在新配置下对相似错误进行迁移,而不是仅仅记忆单个案例。
实验结果显示,训练后的 ARIA 模型在事后修正(post‑hoc)和实时干预(runtime)两种场景下均取得了显著的修复成功率,并且能够跨未见过的框架和底层模型实现良好的泛化。代码已开源于 https://github.com/LabRAI/ARIA。
点评:ARIA 将修正搜索前置到数据层面,通过大规模验证修正对训练通用模型,实现了多智能体系统的实时自我纠错,为提升 LLM 驱动 MAS 的鲁棒性提供了可行路径。