概述
智能体自我进化在长时间范围的 LLM 系统中主要是一个过程性的问题：有用的经验不仅仅是存储的信息，而是可重用的程序，用于搜索、调试和验证。然而，目前的评估并未孤立这种转移形式。智能体基准测试单一任务解决，而内存基准测试则侧重于信息保留而非程序重用。
我们推出了 EvoAgentBench，一个通过能力引导转移评估智能体自我进化的基准，涵盖四个智能领域：网络研究、算法推理、软件工程和知识工作。EvoAgentBench 从智能体执行中提取基于轨迹的能力，将其规范化为操作单元，并构建领域特定的能力图，连接具有程序重叠的任务。设计上，每个测试任务都得到经过验证的训练侧能力支持。
在 528/267 的训练/测试划分中，两个支架和三个骨干网络的情况下，策划的能力内容在模型家族间可靠地转移，但目前没有任何自动化方法能在所有设置中维持积极的增益。EvoAgentBench 将自我进化评估从整体准确度比较转向对经验编码、路由和吸收的细粒度诊断。该基准已在 Hugging Face 上公开发布。
博主点评： EvoAgentBench 的推出标志着智能体自我进化研究的重要进展，尤其是在能力转移的评估上。通过关注程序重用而非单纯的信息存储，EvoAgentBench 可能会推动智能体在复杂任务中的表现提升，为未来的研究奠定基础。其公开可用性也将促进更多的实验和应用探索。