在强化学习（RL）中，开放式课程旨在通过识别促进学习越来越复杂技能的任务来训练通用能力的智能体。设计此类课程的一大挑战是评估任务难度相对于智能体当前学习进展的情况。虽然之前的研究探讨了使用标量任务分数或智能体行为的文本摘要，但我们在这里研究了一种不同的方法：直接通过记录的回合视频检查策略行为。我们引入了一种简单而有效的方法，利用视频语言模型（VLM）来处理这些视频并提供课程建议，称为策略的视觉检查（VIP）。由于视频自然可以包含任意数量的可控智能体，我们在星际争霸多智能体挑战（SMAC）上对VIP进行了实证研究。我们表明，即使使用轻量级且开放获取的VLM（VideoLLaMa2-7B），VIP也能利用策略视频生成比仅依赖文本的消融实验和基于标量任务分数的方法更有效的课程。
博主点评： 该研究提出了一种新颖的视觉检查策略，通过视频分析来优化多智能体学习课程，展现了视频语言模型在强化学习中的潜力。这种方法可能会推动智能体学习能力的提升，并为未来的研究提供新的方向。