奖励机（Reward Machines，RM）通过将奖励函数表示为自动机，能够捕获奖励依赖历史的非马尔可夫任务，并在马尔可夫框架下进行处理。然而，传统 RM 需要人为设计标注函数，将环境观测映射到命题，这在实际应用中成本高且难以推广。\ \ RM-VLM 通过两大模型消除上述瓶颈。首先，使用大语言模型（LLM）根据自然语言的任务描述自动生成对应的奖励机结构；其次，采用视觉语言模型（VLM）作为标注函数，将奖励机中的命题在图像观测上进行 grounding，并在每一步估计智能体对各转移的完成度。基于 VLM 的价值函数估计器能够为每个转移提供进度信号，从而构造密集奖励。\ \ 在实验中，RM-VLM 在三类环境上进行评估：非马尔可夫网格世界导航、机器人操作以及三维物体收集。相较于已有的基于 VLM 的奖励方法，RM-VLM 在所有任务上均实现了更高的成功率，验证了奖励机与视觉语言模型协同的有效性。\ \ 该工作展示了利用语言模型生成任务结构、利用视觉模型实现自动标注的完整流水线，显著降低了手工标注的门槛，并提升了复杂时序任务的学习效率。\ \ 点评：RM-VLM 将任务抽象与感知桥接起来，为非马尔可夫强化学习提供了可扩展的解决方案，值得在更多真实机器人和交互式环境中进一步验证。