摘要
大型语言模型（LLM）代理的能力快速扩展暴露了一个关键的架构瓶颈：当代理访问扁平的、单一的工具注册表时，模型必须同时评估数百或数千个选项。这导致了决策空间的爆炸、上下文窗口的饱和以及路由精度的下降。为了解决这些限制，本文提出了一种层次化、基于技能的代理调度架构。
能力被组织成一个根树结构，其中内部节点作出路由决策，叶节点执行确定性任务。运行时强制执行一个由后进先出（LIFO）栈管理的单步执行循环，使得代理拥有类似于下推自动机的内存形式，从而能够跟踪嵌套执行上下文并从任何深度确定性地恢复。能力发现遵循一个以清单驱动的懒加载协议：仅加载活动节点的直接子节点，因此内存和提示成本随着探索路径的变化而变化，而不是依赖于全局注册表。
通过用局部栈帧替代全局内存，该架构防止了一个执行分支的输出泄漏到另一个分支，从而建立了在受监管的企业环境中部署所需的隔离保证。我们还讨论了 UPI Help，一个由 AI 驱动的数字支付支持产品，作为一个激励的生产部署上下文。
我们提供了调度状态的数学形式化，详细的执行循环算法分析，以及在工具目录增加、多个步骤工作流压力和每次 LLM 调用的可见架构令牌曝光下对比扁平和层次路由的受控基准测试。
博主点评： 该文提出的层次化架构不仅有效地解决了现有 LLM 在决策时遇到的瓶颈问题，还通过引入懒加载机制显著优化了内存使用。这一创新不仅提升了系统的可靠性，也为在企业环境中安全部署智能代理打下了坚实基础。