摘要
大型语言模型（LLM）驱动的智能体在复杂的多步骤任务中表现日益出色，如GUI自动化、工具使用和数据处理，但它们无法从经验中学习：每次新会话都需重新发现解决方案。我们提出了BREW（Bootstrapping expeRientially-learned Environmental knoWledge），一个将智能体过去交互轨迹提炼为结构化、可检索的自然语言知识库（KB）的框架，KB包含了操作步骤、适用情境及注意事项的概念级程序文档。
BREW借鉴了程序合成中的库学习原则，将智能体记忆分解为模块化、概念本地化的文档，并将KB构建形式化为状态空间搜索问题。为此，我们引入了扩展与聚集蒙特卡罗树搜索（EG-MCTS），这是一种奖励引导算法，能够在并行的每个概念搜索树中共同优化步骤的准确性和可检索性。
此外，我们进一步调整了后见重标记，将近乎成功的轨迹转化为积极示范，发掘潜在的智能体能力作为可重用知识。在三个基于领域的基准测试中，OSWorld、tau²-Bench和SpreadSheetBench，BREW在任务成功率上实现了10-20%的提升，并且在执行步骤上减少了10-15%，始终优于现有的内存增强基线，后者的表现甚至可能低于无记忆性能。最终生成的知识库是可检视的、模块化的和可扩展的，为智能体优化提供了透明和可控的基础。
博主点评： BREW框架通过将智能体的交互经验转化为可检索的知识库，显著提升了其任务成功率和效率。这种方法不仅优化了智能体的学习过程，还提供了可视化的知识管理工具，未来可能在多种应用场景中得到广泛应用。