OrchestraBench是一种用于评估多代理编排框架的故障模式、恢复和分解质量的benchmark。它通过一个可控的故障注入框架来评估编排管道的故障和恢复情况，并引入了级联半径和每种故障模式的恢复率作为主要指标。 在一个26个案例的金标准诊断中，一个关键字/标志路由器在对抗性案例中得分为0%，而一个意图推理模型路由器得分为100%，与预期结果相符。 受控机制探针显示，故障处理分为三个层次：工具故障完全恢复（1.0）、模糊委托部分恢复（0.30）和三个潜在或语义模式永不恢复（0.0）。 博主点评： OrchestraBench为评估多代理编排框架的故障模式和恢复提供了一个强大的工具，能够帮助开发者优化编排管道的可靠性和容错性。