探索在强化学习中至关重要，因为策略无法通过重复采样其已偏好的行为来改进。标准方法通过在动作空间中注入随机性来实现这一点，但这种抖动仅能产生接近于原始策略的结果。
要想摆脱弱策略，通常需要全球性的扰动，而动作噪声无法实现这一点。大型语言模型（LLMs）和视觉-语言-动作（VLA）模型提供了一条新路径：它们根据自然语言提示来调节策略，而由于回放是基于此提示产生的，因此修改提示会引发全球性的变化。
面临的挑战是找到能够引发有用全球变化的提示。对于一个成功率较低的弱策略，奖励过于稀疏，难以进行选择。我们的想法是从回放中提炼提示：一个视觉-语言模型（VLM）对回放视频进行推理，诊断策略的反应，并重写提示以引导下次更好的行为。
该过程实现了后验采样，这是一种经典的强化学习探索框架，作用在提示层面上：VLM维护一个隐式的有用提示分布，并根据观察到的回放进行更新。我们称这种策略为基于提示的探索（Prompt-Driven Exploration，PDE）。在操作和推理任务中，PDE使得强化学习即使在零奖励起点也能学习成功的策略，并广泛提高了样本效率。
我们的网站可访问 Prompt-RL。
博主点评： 该研究利用大型语言模型的灵活性，通过提示的细化来实现有效的探索，展示了在强化学习中如何克服传统方法的限制。PDE策略不仅提高了样本效率，还为未来的研究指明了新的方向，值得深入关注。