摘要
大型语言模型（LLMs）使自主智能体具备推理、规划和工具使用的能力。近期的系统越来越倾向于将这些智能体组织成相互连接的图形节点。尽管基于图的编排支持灵活的任务分解和协调，但它带来了一个关键挑战：注意力分配。随着工作流的增长，现有方法往往对图组件进行统一执行，导致在无关或低影响任务上浪费资源。
我们提出了注意力编排，这一范式将Transformer风格的注意力从标记表示扩展到工作流级别的智能体协调。我们的框架，自适应目标感知注意力编排（AGAO），动态评估智能体的重要性，基于用户目标、图依赖关系和计算约束。AGAO结合了三个组件：
- 目标感知注意力：测量用户目标与智能体能力之间的语义相关性；
- 拓扑感知注意力：建模智能体图中的结构依赖；
- 资源感知注意力：在异构智能体中分配预算和执行优先级。
这些机制共同将静态智能体图转化为自适应系统，专注于目标关键的推理路径。通过对多种智能体工作负载的实验表明，AGAO在提高任务有效性的同时，减少了不必要的计算、延迟和标记消耗，相比现有的基于图的执行策略更具优势。我们的研究确立了注意力工程作为可扩展智能多智能体系统的一个方向。
代码：AGAO GitHub
博主点评： 该研究通过引入自适应目标感知注意力编排，显著提升了多智能体系统的资源利用效率，展现了智能体之间的协作潜力。未来，随着多智能体系统的应用不断扩展，注意力工程将成为关键技术之一，值得深入探索。