摘要
强化学习代理在部分可观测环境下必须基于不完整信息进行决策，这使得它们成为小型语言模型（SLMs）指导的自然候选者，因其具备广泛的推理先验。然而，将SLM指导集成到这种环境中一直是一个挑战：在所有测试环境中，传统的不确定性门控方法的覆盖率几乎为零，这意味着SLM几乎从未提供独立的行动。我们将这一失败归因于简单的自我中心提示，认为这为真正的推理提供的上下文不足，识别出这是一个上下文问题而非能力问题。
我们提出了ASK+，它为SLM提供了轨迹感知上下文（部分揭示的地图、已访问的位置和行动历史）以及结构化的思维链推理，将其从一个被动的冗余检查转变为一个更具信息性的顾问，偶尔纠正策略。我们进一步确定，用于选择性查询的预测熵信号测量的是行动的不确定性而非状态的不确定性，这在部分可观测马尔可夫决策过程（POMDPs）中仍然具有信息价值，使得不确定性门控辅助在完全可观测设置之外也是可行的。
状态驱动的提示带来了显著的提升：在DoorKey上，传统的ASK与PPO匹配（均为89%），而ASK+达到了93%的成功率；在FourRooms上，成功率从53%提升至70%；在HigherLower上，准确率达到了73.7%，与SLM单独模型的上限相匹配。在所有环境中，Qwen3.5-2B的表现匹配或超过Qwen3.5-4B，确认了提示设计和选择性门控对模型规模的影响至关重要，使得在不需要大型模型的情况下实现指导。
博主点评： 这项研究通过引入轨迹感知上下文和结构化推理显著提高了LLM在不确定环境中的有效性，展示了小型模型在强化学习中的潜力，尤其是在复杂任务中的应用前景。未来的研究可以进一步探索如何优化提示设计，以提升模型的决策能力。