本文研究了在闭环交互环境下，固定参数的Transformer如何通过提供的示例进行学习的算法视角。我们将这种设置称为Agentic In-Context Learning（Agentic ICL），其中模型的动作决定下一步进入上下文的证据。我们用状态、更新和决策规则来形式化交互学习者，能够覆盖主动学习、赌博问题和在线强化学习等情形。为证明表达能力，我们构造了因果Transformer，使其在有限时间范围内近似上述算法，并给出返回损失的上界。进一步，我们分析了在何种条件下，优化过程奖励能够保持最大化最终结果的行为。蒸馏实验表明，Transformer能够学习执行三类典型递归。随后我们在仅有结果奖励或过程奖励、且没有oracle动作或状态目标的情况下训练模型，类似于强化学习的后训练。不同的奖励信号导致模型学习出不同的决策策略。通过使过程监督更贴合结果最优的动作偏好，可以显著改变学习到的决策。即使在预训练语言模型中，这些行为差异在文本改写后仍然存在。
点评：本文提供了系统的理论框架和实验验证，揭示了Transformer在闭环交互中学习算法的潜力，并指出奖励设计对行为的关键影响。