可重用技能包含了解决现实世界专业任务所需的程序化知识，为基于LLM的代理提供了一条自我进化的途径。现有的自进化技能方法从模型的参数知识或轨迹中构建技能，因此受到模型已知知识的限制。然而，专业技能背后的领域惯例和标准程序通常超出了这个边界，并且难以从代理本身中获取。为了解决这个问题，我们提出了一种新框架，Search2Skill，它可以自动识别代理的能力缺口，搜索外部资源来解决它们，并将检索到的证据提炼成结构化的可重用技能。具体来说，Search2Skill通过基于评估标准的强化学习方案进行优化，共同提高搜索时机、搜索方式和技能生成方式。八个专家级领域的实验表明，Search2Skill在流式和保留评估协议下始终优于增强搜索和基于轨迹的技能学习基线。进一步的分析表明，收益来自技能抽象而非原始检索证据，并且所获得的技能可以在不同模型规模之间转移。 博主点评： Search2Skill框架通过强化学习和外部资源搜索，有效地突破了LLM代理的知识边界，实现了技能的自我进化和转移，这为人工智能的发展带来了新的希望和挑战。