摘要
许多推理任务不能简单通过单一的从左到右的链条描述：求解器可能需要追踪一个合理的分支，观察到延迟失败后，再返回到最新的可以完成的前缀。我们引入了Pyligent，一个训练和推理框架，其灵感来自于Diligent Learner的构想，将推理表示为对部分解链的验证搜索。
任务验证器会标记生成的继续项和失败，随之而来的搜索树被转换为监督学习目标，包含三种动作：继续、完成和回溯，并附加可选的跟踪信息以总结被放弃的分支。
我们在一个隐藏的有向图任务上评估Pyligent，该任务旨在隔离延迟失败恢复，此外还在具有确切验证器的结构化推理领域进行测试，包括 $4\times4$ 数独、带推理跟踪的数独和Blocksworld。与仅依赖黄金标准的监督微调相比，Pyligent在隐藏图上的解题率提高了 $72.7$ 个百分点，在混合和专家数独上分别提高了 $17$ 和 $18$ 个百分点，在带推理跟踪的混合和专家数独上提高了 $27$ 和 $14$ 个百分点，以及在Blocksworld上提高了 $13$ 个百分点。这些结果表明，显式的失败分支监督可以教会有用的恢复行为，超越对精练解链的模仿。
博主点评： Pyligent框架通过引入失败分支的监督，显著提高了解题的有效性，尤其是在复杂推理任务中。其方法论对未来的推理系统设计提供了新的视角，值得深入研究与应用。