摘要
自动化故障归因利用大规模语言模型（LLMs）来识别代理系统失败的原因与位置。随着代理能力的提升，其故障表现愈加微妙，因此自动化归因的重要性日益凸显。我们推出了Who&When Pro，这是一个针对代理系统故障自动归因的大规模基准。
基准构建
采用严格控制的流程，我们在准确重放成功前缀后注入故障，构建了12,326条具有黄金标签的失败轨迹，涵盖3种模态和26个基准，涉及各种场景。
实验与分析
除了基准测试，我们还进行了广泛的实验和分析，揭示了模型在不同模态、协议和模型家族中归因故障的系统性模式，并为未来的自动化故障归因系统提供了实证指导。
博主点评： Who&When Pro的推出标志着AI代理故障归因领域的一次重大突破，通过系统化的实验设计与数据集构建，为未来的研究提供了重要的参考和基础。这种方法不仅提高了故障识别的精度，也为AI系统的安全性和可靠性奠定了基础。