摘要
大型语言模型（LLM）代理的评估越来越依赖于其工具使用、规划多步骤任务、与其他代理协调以及在长时间范围内操作的能力。尽管报告的基准提升常常掩盖了在其他无关评估工作中记录的重复失败模式，本文综合了2023至2026年间的27篇基准、分类法和审计论文，涵盖19个不同的基准，形成了一套交叉性的代理限制分类法。
这是我们所知的首个将工具使用、规划、长远推理、多代理协调、安全性和测量有效性等证据整合为一个统一的LLM代理限制分类法的研究。我们识别出六个失败聚类：
- 工具调用和参数级错误；
- 规划和约束满足失败；
- 上下文累积导致的长远退化；
- 多代理协调失败；
- 在对抗性或不明确条件下的安全与安全性失败；
- 测量有效性问题。
该分类法是通过将独立报告的错误类别按主题分组，反复推导得出的，主题对应于代理从推理到行动的不同阶段。文献表明，失败随着任务长度的增加而非线性累积，单个子任务的强表现并不可靠地转化为端到端的成功，而额外的支撑措施并不总能提高可靠性。同时，在单次工具使用、短期网络导航和狭义编码任务方面已显示出显著进展。
博主点评： 本文通过整合多项研究，揭示了大型语言模型在实际应用中的多个潜在失败点，为未来的研究和模型改进提供了宝贵的方向。对这些失败模式的深入理解，将有助于提升LLM的实用性和安全性。