介绍
在3D计算连续体中,应用程序统一了边缘、云和空间的计算需求,要求将多个AI任务(例如对象检测、时间序列分析和自然语言处理)组合成复合AI系统。这些系统必须满足严格的服务水平目标(SLO),包括准确性、延迟和成本。
运行时模型选择
为保持复合AI系统的SLO合规性,运行时模型选择是一项关键机制,允许动态切换AI模型以适应每个工作流任务。然而,现有的分布式和复合AI框架并不原生支持这一功能。
PLAIground框架
我们提出了PLAIground框架,以支持复合AI系统的运行时模型选择。PLAIground引入了复合AI模型(CAIM)抽象,这种抽象通过任务和数据合同将任务语义与AI模型实现解耦,从而允许在不更改工作流的情况下进行模型切换。此外,PLAIground还推出了Pixie算法,该算法基于SLO动态选择每个任务的最合适模型。
性能评估
在对两个现实的复合AI工作流的评估中,Pixie在保持SLO合规的同时,实现了高达91.3%的准确率,而固定模型策略则在成本和延迟预算上最多违反21倍,或在准确性目标上降低4%。
博主点评: PLAIground通过引入CAIM抽象和Pixie算法,显著提升了复合AI系统在多任务环境下的灵活性与效率,展示了在复杂计算场景中动态模型选择的重要性,为未来的边缘计算与云计算结合提供了新的视角。