LLM 代理正逐步融入真实工作，但需要处理多领域工具和复杂的多子任务问题。顺序调用工具会导致效率低下和上下文膨胀。主代理委派与子代理执行（MAD‑SAE）范式通过将子任务分配给专门的子代理，在隔离上下文中并行执行，缓解了上述问题。然而，委派和编排质量缺乏量化评估。为此我们推出 MS‑Eval，一个统一评估套件，包含高MCP（多工具并发使用）基准、受控执行框架、针对委派与编排的度量以及综合的 MSQ 指数。我们在四种 MAD‑SAE 变体和八个前沿模型上进行实验，得到以下结论：
① 子代理专业化（Spec）是最实用的做法； ② 开源模型整体竞争力强，只有少数例外； ③ MAD‑SAE 通常会提升成本，但在多数开源模型上带来性能和效率的双重提升，而闭源模型则出现成本上升且性能下降。案例研究进一步表明，收益来源于更好的单代理方案、有效的上下文卸载以及真正的子任务并行；而不必要或冗余的委派会把相同成本转化为纯开销。
代码仓库：https://github.com/LINs-lab/MS-Eval
点评