In‑context learning(ICL)让大语言模型能够在不更新参数的情况下利用示例。对交互式智能体而言,示例是包含推理、动作和观察的轨迹,用来展示任务完成方式。直接把完整轨迹塞入提示会占用大量上下文空间,限制整体效果;而使用自然语言摘要又要求智能体把笼统的指导转化为具体动作选择。为此我们探讨是否可以让专家的动作选择直接监督一个可复用的评分规则。
我们提出 CB‑Agent,将概念‑基于 ICL 扩展到序列动作选择。首先从专家轨迹中抽取环境‑动作对,随后通过最大似然估计学习一个概念向量,用以建模在给定上下文时候候选动作的条件分布。该分布结合概念向量、冻结的语言模型特征以及先验信息。
在 ReAct 交互过程中,智能体依据该分布为环境动作打分,无需在评分上下文中加入完整示例。我们在 TextWorld、ALFWorld 和 ScienceWorld 三个基准上进行评估,CB‑Agent 在所有三种模型规模下均取得跨基准最高平均分,并在每个规模上分别于 TextWorld 与 ScienceWorld 获得第一名。ALFWorld 实验表明,仅使用先验的评分不足以解释性能提升,加入学习到的概念后效果显著;进一步与 Reflexion 结合还能获得额外增益。代码已开源: https://anonymous.4open.science/r/CB-Agent-DFF9/
点评:CB‑Agent 通过显式学习动作概念,实现了示例的高效复用,显著提升了大模型在交互式环境中的决策能力,为后续基于概念的 ICL 研究提供了有力参考。