摘要
强化学习（RL）研究正日益关注代理对齐，确保代理学习遵循人类价值观的行为。尽管人类示范和反馈对对齐至关重要，但现有方法主要将这些信号结合在多阶段管道中，适用于语言生成的上下文赌博框架。然而，鲜有研究探讨这些互补输入如何在完全顺序决策环境中的单阶段离线训练中作为更丰富、相互关联的信号。
我们提出了反馈操控正则化（FMR），这是一种与算法无关的方法，利用评估反馈作为纠正信号，以提高模仿学习策略的对齐能力。我们将Safety Gymnasium环境改造为对齐评估的原则性测试平台，展示了在多种模仿学习算法中，能力的改善和多达98%的误对齐减少。
FMR在有限数据条件下仍然表现稳健，即使在学习稀缺的对齐和无信息噪声示范时也能有效应用。
博主点评： FMR的提出为模仿学习中的代理对齐提供了新的视角，通过有效利用反馈信号，有望在强化学习领域产生深远影响，尤其是在数据稀缺的情况下，这种方法的鲁棒性尤为重要。