LLM 驱动的智能体能够完成复杂的多步骤任务,但顺序执行会导致显著的延迟。理论上,将工作并行分配给多个智能体可以获得接近线性加速,然而现有的并行多智能体系统往往比单一智能体更慢。我们将这一差距归因于并行执行固有的两类隐藏成本。第一是重新探索成本:并行工作者需要重复构建已由调度器掌握的上下文(如先前的决策),而在串行执行中这些信息会隐式继承。第二是对齐成本:独立生成的输出之间需要额外的开销来消除不一致。基于此,我们提出了一个原则性的决策准则:只有当某一层的关键路径成本加上重新探索和对齐的开销,总和低于对应的串行成本时,才应并行化。该准则在墙钟时间上自然表达,但实验发现 LLM 在估计任务时长时标定不佳。为此我们改用预测输出 token 数作为成本度量,LLM 对 token 数的预测远比对实际时间更可靠。基于 token‑based 判据,我们设计了 SquidAgent。它在一次规划步骤中估算所有 token 预算,将每个工作者直接从调度器的会话分叉,以消除重新探索成本;并用预生成的共享约定块将对齐成本转化为一次性可界定的前置开销,取代事后调和。随后,一个确定性调度器按层级应用并行判据。实验表明,SquidAgent 在平均吞吐量上提升 $2.2\times$,墙钟时间加速 $2.6\times$(相较于 Claude Code),并在吞吐量上比最强的多智能体基线提升 $2.0\times$。
点评