摘要
在基于LLM的代理系统中，故障归因，即识别导致任务失败的失败轨迹中的哪些步骤，对于调试和改进这些系统至关重要。现有方法通常依赖于基于提示的管道，这种方法计算开销大，或需要在失败轨迹上进行后训练，并附带逐步错误注释，这种数据的收集成本高且难以扩展。
我们认为，实用的故障归因模型应当轻量且无监督地在失败数据上进行训练。为此，我们提出了无监督故障归因的方法，即仅利用成功轨迹进行训练，并在推理时识别失败轨迹中的错误步骤。我们提出的OAT方法将此问题视为一种单类学习，使用神经控制微分方程建模成功轨迹在潜在空间中的动态模式。
在推理时，失败轨迹中的每一步会基于其与成功轨迹学习到的动态的偏差被分配一个异常分数，这个分数用于形成错误步骤集。通过仅在100个成功轨迹上进行训练，实验表明OAT的速度比基于提示的基线快200至5000倍，并且在领域内和领域外数据集上均表现优越，F1分数分别提升20%和7%。这表明OAT在诊断代理系统故障方面是一种有前景且高效的方向。
博主点评： OAT方法展现了在无监督学习下的强大潜力，尤其是在资源有限的环境中。通过利用成功轨迹的动态模式来推断失败步骤，不仅节约了计算资源，也为故障诊断提供了新的视角，值得在更多应用场景中进行探索与验证。