在现实系统中为大型语言模型（LLM）代理提供有效技能，对于解决复杂任务至关重要。本文旨在开发一个框架，自动构建可重用的技能，以增强LLM在工具使用、多步推理和动态环境交互中的能力。为此，我们提出了集体技能树搜索（CSTS），一个基于树搜索的技能构建框架，旨在构建结构化、多样化和可泛化的技能树。
CSTS的核心思想是利用集体智慧，通过两个迭代阶段共同搜索、识别和组合有效技能：集体技能节点生成（CSN-Gen）和集体技能节点评估（CSN-Assess）。CSN-Gen利用多个模型的集体知识，探索每个子任务的多种候选技能，从而实现全面的技能探索。CSN-Assess则使用多个模型作为评审者，通过以下两种评分机制评估并选择技能节点：(1) 集体质量评分，聚合独立评估以产生对技能有效性的稳健估计；(2) 集体迁移评分，明确验证技能在不同模型间的泛化能力。
通过CSTS，我们构建了一套全面的技能树，并生成技能增强的训练数据，使模型能够有效学习和利用技能。此外，我们引入了集体技能强化学习，主动从技能树中选择多个相关技能，以拓宽解决方案空间，避免被单一技能及其导致的同质或次优解决方案所困扰。因此，我们训练的模型OpenClaw-Skill在长时间规划、工具使用和在挑战性基准上的泛化能力上表现出色。
博主点评： 本文提出的CSTS框架通过集体智慧的方式构建技能树，显著提升了LLM在复杂任务中的表现。采用多模型评估机制，不仅提高了技能的有效性，还增强了技能的迁移性，值得关注。未来的应用将可能改变LLM在动态环境中的适应能力。