在自主代理日益广泛应用于不同操作环境的背景下，如何使其行为与人类意图保持一致成为一大挑战。为了实现这一目标，必须设计出对环境变化保持稳健的奖励函数，而非只针对单一环境的过拟合。逆向强化学习（IRL）为从人类反馈中推断这些目标提供了一个原则性的框架。然而，现有的IRL最优教学方法分析主要集中在单一环境和仅演示的设置上，未能深入探讨异构反馈模态和环境动态如何共同约束多环境下的奖励函数。
由于在一个马尔可夫决策过程（MDP）中的演示将奖励信息与该环境的特定结构纠缠在一起，导致在新设置中代理的奖励往往无法推广。
我们首先分析了不同反馈模态如何约束奖励，结果表明在无限数据的情况下，比较反馈施加的全局约束明显强于其他模态。
除了理论分析，我们还提出了一种在多个MDP上进行奖励学习的层次化机器教学算法。该算法首先贪婪地选择能够暴露互补奖励约束的信息环境，然后在这些环境中战略性地查询低成本反馈。
实证结果表明，在相同的反馈预算下，我们的方法在保持较低悔恨值和对未见环境的强泛化能力方面，显著优于均匀教学基线。这一研究强调了多环境、多模态教学在学习动态稳健奖励函数中的重要性。
博主点评： 本文通过对多环境和多模态反馈的深入分析，提出了一种创新的机器教学算法，展现了其在奖励学习中的潜力。这为未来的自主智能体在复杂环境中的应用提供了新的思路，尤其是在需要坚持人类意图的场景中。算法的实证结果也表明了有效的反馈选择策略的重要性，值得进一步探索和应用。