[AI学术] TurnOPD：高效长时间跨度智能体训练的回合感知策略

摘要

在策略蒸馏（OPD）中，通过匹配更强的教师模型来训练学生策略，利用学生自身的轨迹，这为语言智能体训练提供了一个有前景的框架。然而，其在长时间跨度智能体任务中的应用尚未得到充分探索。

我们识别出传统智能体 OPD 中的两个关键低效之处：

1. 全程回合的执行往往在尾部决策上浪费了大量时间，这些决策提供了弱且噪声大的 KL 监督；
2. 轨迹级 KL 目标将大部分损失集中在浅层标记上，导致深层决策的训练不足，因为初始行为对齐后，深层决策未得到充分关注。

为了解决这些挑战，我们提出了 TurnOPD，一种回合级预算策略，用于高效的长时间跨度智能体的策略蒸馏。TurnOPD 包含两个预算控制器：

• 自适应回合深度预算：使用基于探针的回合统计来确定回合长度；
• 渐进式回合归一化损失预算：逐步将 KL 权重从标记级转移到回合平衡监督。

在 ALFWorld、WebShop 和 Multi-Hop Search 上进行的实验，使用任务专用的教师模型表明，TurnOPD 在相同的墙钟训练预算下实现了更优的验证准确率，并将准确率与时间的边界推进到了超越传统 OPD 的水平。

博主点评： TurnOPD 的提出为长时间跨度智能体训练提供了新的思路，通过回合感知的预算策略，显著提高了训练效率，尤其是在处理复杂任务时，展现了更强的准确性与时间利用率。这样的框架值得在更多应用场景中进行探索与实践。