执行常被用作终端反馈：它为生成的程序打分，但得到的状态不会再用于后续学习。学习后执行（Learning after Execution）则把执行结果作为中间状态，支持同一策略的额外学习交互。这会产生信用分配问题：两个动作共享最终目标，却在轨迹中扮演不同角色。动作特定信用（action‑specific credit）从最终轨迹结果为初始动作分配信用，并为相对于中间状态的改进动作分配纠正信用。Image‑to‑TikZ 被用作可执行的视觉测试平台。对 945 个未见例子进行实验，学习后执行在单次调用推理下提升了共享策略，并产生了执行后的纠正能力。单次调用渲染成功率达到 92.70%，而在相同额外训练迭代次数下继续单阶段 GRPO 仅为 88.25%。该纠正能力无法通过继续单阶段训练复现，且依赖于中间状态。不同的信用定义会在相同轨迹上产生不同的组相对偏好。整体结果表明，可执行任务蕴含超出终端奖励的学习结构。代码已开源：https://github.com/tianyufengcn/Learning-after-Execution。
点评