NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向代理式 AI 系统的不确定性感知资源编排

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #optimization #LLM

代理式人工智能系统由大语言模型驱动,作为自主的多步骤流水线运行,能够在运行时动态调用工具、将观察写入记忆,并在任务完成或资源预算耗尽前循环迭代。与固定图结构的传统工作流不同,这类流水线的总计算、带宽和端到端时延在调度时不可知,只有在执行过程中通过中间观察和随机 token 采样才会显现,表现为重尾、多模态的随机变量。这种不可预测性使得资源编排面临两难:不足的配额会导致执行中被限流或错过截止时间,过度配额则浪费边缘或云端的稀缺容量。现有调度器要求事先知道完整的流水线图,边缘资源管理方法依赖参数化或平稳的需求模型,均无法适应代理式流水线的未知、非平稳特性。我们将此问题形式化为“不确定性感知的代理编排”问题,目标是在调度时预留能够覆盖实际流水线需求的计算和带宽,并在给定概率下验证流水线能否满足截止时间。为此我们提出了 Conformal Reservation for Orchestration(CRO),一种在线算法,它把过去执行轨迹的滑动窗口转换为调度时的资源配额,并通过共形预测提供有限样本、分布无关的覆盖保证。仿真在包含多模态和重尾需求的异构任务混合上进行,结果表明 CRO 是唯一在所有风险水平下同时满足目标概率覆盖的方案,并且在可覆盖的方法中实现了最低的过度预留,资源浪费约比基于 Chebyshev 上界的基线减半。点评

原文链接: https://arxiv.org/abs/2611.05392

[h] 返回首页