Cooperative 多智能体强化学习(MARL)让机器人、自动驾驶车等团队能够学习协同行为,但学习的核心取决于奖励函数。任务成功本身提供的信号太少,通常需要人工设计中间奖励,而且每当环境或团队变化时,这些设计必须重新进行。
大型语言模型(LLM)可以自动生成奖励函数代码,但生成的奖励往往只在单一场景下测试,缺乏跨场景的通用性。为了解决这一问题,本文提出 GARDEN(Generalist Autonomous Reward Design through Evidence Navigation),其目标是为一族相关场景开发一套奖励程序,并在未见过的场景中直接复用,无需修改。
在奖励开发阶段,LLM 充当奖励工程师,系统地检查环境代码、训练记录和智能体行为,并在试验训练中评估草案奖励。整个过程保持学习算法和最终奖励选择规则不变,只在证据导航(Evidence Navigation)框架下迭代奖励。
GARDEN 在 Overcooked 与 SMAX 两个基准的未见场景上进行评估。结果显示,在两个厨房布局上,任务回报分别提升了 58.2% 与 52.5%;在两个对抗场景中,平均胜率从 51.0% 提升至 89.9%。在候选奖励与探测预算相同的条件下,GARDEN 仍然超过了固定诊断反馈(84.2%)和受 Eureka 启发的奖励反思(79.2%)。
这些实验表明,一个由 LLM 自动生成且经过证据导航优化的奖励函数,能够在多个相关协作任务之间实现有效复用。
点评:GARDEN 展示了利用 LLM 自动化奖励设计并通过系统化证据导航实现跨场景通用性的潜力,为降低 MARL 中奖励工程的人工成本提供了新思路。