在多智能体系统中,复杂任务被分解为有向无环图(DAG)形式的专门代理执行,这为跨查询缓存中间结果提供了天然的机会。然而,现有的缓存驱逐策略将所有缓存条目视为统一,基于访问历史进行处理,忽略了在智能体执行环境中独特的结构和负载信号。
我们提出了一种负载感知的驱逐策略,该策略结合了三个信号:重新计算成本、DAG依赖计数和智能体调用频率,形成一个统一的评分函数,以在内存约束下保留最有价值的条目。
在三个涵盖多种重用模式的多智能体基准测试中评估我们的策略,相较于未缓存的基线,延迟降低了最高64.7%,并且在与下一个最佳有限容量基线相比时,平均延迟降低了31.1%。我们的策略在接近无限缓存性能的同时,保持了与所有竞争有限容量方法相当或更高的准确性。
此外,我们进一步展示了负载感知内容缓存与其他智能体系统优化方法(包括计划级缓存和并行智能体执行)是互补的,每种技术都针对多智能体管道中的不同效率瓶颈。
博主点评: 本文提出的负载感知缓存策略在提升多智能体系统性能方面具有显著效果,尤其是在资源受限的情况下。结合多个信号的评分函数为缓存策略的优化提供了新的思路,展现了智能体执行环境中独特的特性对性能提升的重要性。该研究为未来的多智能体系统优化提供了有价值的参考。