在现实应用中，尽管大语言模型（LLMs）具有强大的推理能力和广泛的世界知识，但它们常常生成违反任务约束的计划，这降低了其可靠性。这个问题的根源在于缺乏系统性机制将约束信息融入生成过程中。虽然现有方法试图通过依赖外部工具或任务分解来缓解这一问题，但未能增强模型的内在约束意识。为了解决这个问题，我们提出了约束意识强化学习（CARL），这是一个旨在增强LLMs对约束内在关注的全新强化学习框架。CARL通过比较模型在有约束和无约束输入下的输出分布，引入了约束意识奖励，鼓励关注约束并惩罚忽视。CARL兼容多种强化学习框架，无需外部求解器或顶级模型，支持可扩展的端到端约束意识规划。在BlocksWorld、TravelPlanner和T-Eval上的大量实验表明，CARL显著优于标准强化微调（RFT）基线和最先进的推理模型，表现出显著增强的约束关注度。
博主点评： CARL框架通过引入约束意识奖励，为大语言模型的规划能力注入了新的活力。其设计不仅提升了模型对约束的关注，还保证了与现有强化学习方法的兼容性，这为未来的研究提供了良好的基础。