语言模型代理在长交互流中需要在线适应分布漂移,这要求持续学习。现有的代理框架要么只通过前向信息流更新状态,要么需要额外的回放或验证数据进行优化。为此我们提出 ReHarness——一种递归式的代理持续学习框架,在严格的在线流式协议下,除了前向读取和写入,还加入了向后修订。核心思想是:在每个实例处理完后,利用产生的轨迹作为反馈,重新修订该实例检索到的反思,从而把反馈逆向传播到文本式的 harness 状态。
实验在三个持续学习基准和三种语言模型骨干上进行,ReHarness consistently 超越了原始上下文基线、记忆与反思方法以及提示优化。进一步分析表明,ReHarness 能生成基于来源的有意义修订,纠正分布漂移下的过度概括或过时经验,并提升了学习过程的稳定性和可塑性。
点评