我们研究了一种编码代理在一系列抽象推理任务中的学习方式。该代理在一个冻结的基础模型上运行，使用固定的框架，通过编写并执行 Python 与 Shell 脚本来行动。除了它写入的文件外，它在回合之间不保留任何状态；因此，每一次思考——无论是信念、规则还是计划——都会留下痕迹，思考本身被定义为写入文件的任何内容。
我们让代理玩 ARC-AGI-3，这是一套交互式推理游戏，游戏不提供任何说明。每局游戏由多个关卡组成，清除一个关卡的策略在下一个关卡可能失效，因此每个新关卡实际上是一个新任务。代理将学习内容记录为 Python 脚本和文本笔记，而框架则完整记录每一次动作和观察。
我们的贡献是一套测量协议，能够在这些文件中追踪每一次思考：从它形成的任务到被纠正或放弃的任务。我们在七次评估运行中使用了来自两个模型家族的三种骨干模型进行实验。结果显示，针对某一任务编写的脚本几乎不会在后续任务中再次被调用（630 次引用中仅有 33 次跨任务），因为大多数脚本都嵌入了当前关卡的状态。相反，代理会把通用规则重新写入新脚本，同时丢弃关卡特定的细节，并在任务边界前放弃了 74% 的旧脚本。
模型唯一读取的笔记从不被修改：代理只会在笔记末尾追加内容，而不会删除之前的声明，导致的矛盾会在日志中被对照解决。由于日志保留了所有信息，代理实现了选择性遗忘，而非灾难性遗忘。最昂贵的错误是将硬编码的数值带入不再适用的任务中。所有这些发现均基于代理写入的文件，而不需要访问模型本身，提供了一种白盒视角来分析编码代理的持续学习过程。
点评