NeFut Logo NeFut
EN 管理员登录

[AI学术] AgentOrch:全局编排能接近逐步交互的程度吗?

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #Artificial Intelligence

企业工作流代理通常采用逐步交互(Step-by-Step)模式:代理执行一次动作,观察结果,再调用大语言模型(LLM)决定下一步。全局编排(Global)则提前生成完整可执行工作流,执行时不再调用 LLM,从而大幅降低推理开销,但准确率仍低于逐步交互。\ \ 我们提出 AgentOrch 基准,直接在 650 条企业 SOP 与 3,220 条运行时变体上,对齐工具、环境和评估方式,比较全局编排与逐步交互的表现。结果显示,所有评估模型中逐步交互仍更准确,但从早期模型到最新最强模型,准确率差距已缩小约 79%。\ \ 进一步分析发现三条提升路径:\

  1. 增量工作流构建:在不使用运行时反馈的情况下,将全局编排拆解为若干增量步骤,可提升约 9.98 个百分点(pp)的准确率。\
  2. 基于执行反馈的工作流修正:利用实际执行结果对完整工作流进行修正,对所有模型均有提升,尤其在未见过的运行时变体上提升 6.13 pp。\
  3. 针对完整工作流的有针对性训练:对五个模型进行专门训练,可平均提升 12.18 pp 的准确率。\ \ 尽管仍存在差距,全局编排为企业级代理提供了在降低 LLM 调用次数的同时提升准确率的可行路径。\ \ 点评
原文链接: https://arxiv.org/abs/2610.33375

[h] 返回首页