摘要
强化学习（RL）是训练大型语言模型（LLM）智能体执行长时间任务的主流方法。然而，稀疏和延迟的奖励常导致轨迹忽视，智能体在中间步骤中失去对任务目标和交互历史的关注。以往的研究探讨了使用基于香农熵的不确定性信号进行逐步监督，但这种方法将固有状态复杂性与智能体信心混合，提供了不可靠的决策可靠性估计。
为了解决这一问题，我们提出了归一化熵，该指标测量相对于给定状态下智能体平均行为的信心偏差，从而强化低质量动作与轨迹忽视之间的关联。在此基础上，我们引入了选择性轨迹感知策略优化（STAPO），这是一个基于层次的群体强化学习框架。STAPO利用归一化熵定位与轨迹忽视相关的异常步骤，并通过轨迹感知奖励与轨迹无关惩罚的联合机制对其进行优化，增强轨迹意识的同时保持训练稳定性。
在ALFWorld、WebShop和搜索增强问答等多个实验中，STAPO展现出最先进的性能，同时显著缓解轨迹忽视，验证了其在智能任务中的有效性和鲁棒性。
博主点评： STAPO通过引入归一化熵的概念，解决了传统强化学习中常见的轨迹忽视问题，显示出其在长时间任务中的应用潜力。这一创新方法不仅提升了智能体的表现，也为未来的RL研究指明了方向。