语言模型代理越来越多地被要求完成跨天甚至跨周的任务,如运维修复或研究计划。这类任务超出任何上下文窗口、任何单一流程以及人类能持续关注的时间间隔。本文认为,长时程代理必须在不遗忘的前提下持续运行,才能实现持续学习。这种能力来自于模型外壳(harness),而非模型本身。我们从长时程设定中提炼出七个瓶颈,并用三层层级架构加以解决:① 按时间尺度划分的层级,每层保存一个有界文件,概括下层信息;② 时钟滴答作为自主行动的基本单元;③ 级联智能,只有在审查失败后才将工作升级到更强模型。我们在一次为期十天的实验中,使用该架构的代理在每天仅有人类介入一次的情况下复现了一篇已发表的强化学习结果。实验表明:① 代理在每次上下文重置和会话边界之间保持了完整的任务线程;② 早期写入的操作知识能够在后期改变行为,而无需修改模型权重;③ 学习组件可以在系统的哪些位置介入。总体来看,长时程代理的持续学习需要一个超越所有上下文和流程的底层基座,而现有的外壳检查机制正是学习者可以嵌入的地方。
点评:该架构通过层级摘要、时钟驱动和级联审查,为长期自主任务提供了可扩展的技术路线,展示了在有限人类监督下实现持续学习的可行性。