在现实世界中，代理（如拨打电话）必须在线学习，面临高成本和不可逆的交互，而非便宜的模拟器步骤。这带来了两个关键点：
首先，代理的可部署性不仅依赖于结果，还依赖于路径。代理必须遵循与结果无关的约束，例如不重复拨打未响应用户的电话、遵循营业时间，或完成必要的身份验证约束，因为频繁违反这些约束会降低表面的成功率。
其次，由于每次交互的成本高，代理必须从极少的示例中高效学习。传统的基于结果的强化学习（RLVR）忽视了这两个挑战，仅优化结果，且在所有失败组上浪费了昂贵的回合，因为组间相对优势归零。
尝试通过奖励进展来增强监督，但却面临难以验证的方向问题。相反，真实的代理环境可以廉价地检测不良动作。由于组间相对优势等同于组内方差，密集信号只有在提供结果缺乏的方差时才有帮助。
对路径的可验证惩罚可靠地满足这一条件，而进展潜力仅在部分进展可达时才有效。最终的策略“惩罚路径，奖励结果”在几乎没有违反的情况下实现高任务成功，而仅基于结果的训练几乎在每个回合都违反约束。
我们提供了四条有效惩罚的设计规则，包括避免在孤立使用惩罚时产生的不作为陷阱。
博主点评： 本文提出的“惩罚路径，奖励结果”的策略为强化学习提供了新的思路，通过将注意力从单一结果转向路径约束，能够有效提升代理的学习效率和可部署性，尤其在高成本的实际应用场景中具有重要意义。设计规则的提出也为后续研究提供了实用的指导。