在人工智能驱动的软件系统中，代理工作流通过将多个模型和外部工具串联在一起，以解决复杂任务，例如分析视频并回答相关问题。然而，这些高度分散的系统设计和部署方式往往导致资源浪费，造成计算、能量和成本的浪费。为了提高效率，麻省理工学院和微软的研究人员开发了一种智能系统，简化了代理工作流的设计过程，并自动优化这些工作流的实现方式。
开发者可以用简单的语言描述他们希望代理工作流完成的任务，而无需提前指定所有应用细节。该系统会自动确定最佳的模型和工具，以及在云提供商执行工作流时的理想硬件配置和计算资源分配。它根据每个用户的优先事项（如最小化成本或最大化速度）动态调整这些配置。通过在多个代理工作负载上的测试，这一新系统显著减少了部署所需的计算单元，显著降低了能耗和成本，且没有影响性能。
“代理工作流变得越来越复杂，并迅速成为云提供商运作的支柱。能量使用是一个巨大的问题，因此我们需要非常谨慎地考虑这些工作流的效率。过度分配资源很容易，导致能源和金钱的浪费。使云提供商能够智能地优化这些工作流是对所有参与者的双赢，”电气工程与计算机科学（EECS）研究生及该系统论文的主要作者Gohar Chaudhry表示。
该系统名为Murakkab（乌尔都语中意为“事物的组合”），旨在优化整个代理工作流过程。Murakkab允许开发者通过高层次的描述来创建代理工作流，而不是详细说明如何组合工作流的多个组件。例如，开发者可能描述一个视频问答应用程序，该程序提取关键帧，生成转录并回答用户关于视频的问题。Murakkab会自动识别最佳的现有模型和工具来组成工作流，并确定哪些组件需要顺序运行，哪些可以并行运行以提升性能。
Murakkab在云提供商为客户部署应用程序时，通过配置组件以满足用户的约束（如优先考虑准确性同时满足延迟要求）来优化工作流。它动态识别理想的硬件分配和部署时间表，以实时最大化效率，并生成准备好供云提供商执行的工作流。通过对多种视频问答和代码生成的代理工作流进行测试，Murakkab在使用其他方法所需计算量的35%时满足了用户需求。它的能耗仅为其他方法的27%，成本低于25%。Murakkab的动态特性还使用户能够平衡各种权衡。在一个实例中，该系统将代理工作流的能耗降低了一个数量级，仅导致客户的准确性下降约2%。
研究人员计划将系统扩展到更复杂的工作流和更大计算集群，同时探索优化新代理应用的机会。Chaudhry表示：“使这些工作流更加资源优化以消耗更少的能量潜力巨大，但我们需要在主要云平台的规模上考虑这一点。”
该研究部分得到了半导体研究公司和美国国防高级研究计划局的支持。
博主点评： Murakkab系统的出现标志着AI代理工作流的一个重要进步，通过动态优化配置，不仅提升了性能，还显著降低了能耗和成本。未来，随着云计算和AI技术的不断发展，如何进一步优化这些工作流将是一个重要的研究方向。