摘要
强化学习（RL）在非可验证指令跟随中越来越依赖于具有提示特定评分标准的LLM评估者作为奖励信号。尽管最近的方法在训练过程中适应这些评分标准，但训练提示本身仍然是静态的，来自固定的语料库。这种静态方法常常导致提示难度与策略能力之间的重大不匹配，使得评估者在提示未能引发不同质量的结果时无法恢复区分奖励信号。
为了解决这种不匹配，我们引入了LLM-as-a-Tutor框架，扩展了LLM的角色从评估者到辅导者：单一模型既作为考官对策略结果进行成对比较，以检测不具挑战性的提示，又作为生成器为其附加原子约束。这种仅附加的设计随着策略能力的提升单调提高难度，产生自校准的训练信号，而无需外部难度调度。
在三个复杂的指令跟随基准测试中，我们的方法始终优于不考虑策略的基线和之前的政策自适应方法，表明提示自适应是非可验证RL中政策意识的缺失维度。
博主点评： 该研究提出了一种创新的框架，将LLM作为辅导者，为强化学习中的提示自适应提供了新思路。通过动态调整提示的难度，使得模型能够更好地适应策略能力，显著提升了训练效果。这种方法在今后的RL研究中具有重要的应用潜力。