随着智能体能力提升,它们正从一次性任务转向在连续用户目标之间提供持续帮助。这要求智能体能够快速了解陌生环境的运作方式、在不同任务间复用已学经验,并在环境演化时保持经验的时效性。现有基准虽已开始关注经验复用与适应,但对智能体在累计经验中哪些部分被修正、保留或遗忘缺乏细致观察。为填补此空,我们推出 ReScopeBench——一个覆盖 18 种交互式环境的经验生命周期基准。它将经验分为结构经验(环境的组织与访问方式)和规则经验(跨任务的可复用原则与约束)。我们采用经验优先的构建方法,围绕共享经验组织任务流,并在任务进行中引入静默的环境变化,以此考察经验的获取、复用与修订。实验在 20 种模型上进行,评估任务表现并追踪每个任务流中保存的经验变化。结果显示,保留的经验能够提升任务成功率,但智能体在环境变化时难以保持经验的最新性;即便经验记录正确,任务仍可能失败。该研究指出,选择性维护经验和高效利用经验是实现长期稳健智能体的两大互补挑战。
点评:ReScopeBench 为评估长期智能体提供了细粒度的经验追踪框架,揭示了经验更新的瓶颈,为后续研究指明了在动态环境中保持经验有效性的关键方向。