NeFut Logo NeFut
EN 管理员登录

[AI学术] 使用陷阱预测世界模型引导黑盒大语言模型代理

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

前沿的黑盒大语言模型(LLM)代理在长时序推理和精确动作生成方面表现出色,但在特定任务环境中缺乏内部化的环境知识。世界模型可以通过预测环境对即将执行的动作的响应,为代理提供环境专属的先验信息。已有的 LLM 代理世界模型大多在每一步预测下一个观测,这种做法成本高且信息量有限,因为单个观测往往缺乏任务相关的指导,并且并非每一步都需要前瞻。

关键问题在于:世界模型应当预测什么,以及何时调用它才能真正帮助代理完成任务。我们的初步研究表明,当模型能够在有限的多步未来内预见潜在的陷阱时,指导效果最为显著。基于此,我们提出了 Pitfall Anticipation World Model(PAWM),它在检测到可能的陷阱时进行干预,并预测即将出现的失败,以引导代理规避风险。

PAWM 的训练分为两阶段:第一阶段在合成数据上进行监督微调(SFT),这些数据已标注出代理可能遇到的陷阱;第二阶段采用 GRPO(Goal‑oriented Reinforcement‑learning with Policy Optimization)与黑盒 LLM 共同训练,进一步在目标环境中优化模型表现。

实验结果显示,PAWM 将 Claude Sonnet 4.5 在 ScienceWorld 上的成功率提升了 24.3%,在 WebArena‑Lite 上提升了 7.7%,并超越了多种基线方法。这表明 PAWM 能够为黑盒 LLM 代理提供高效的世界模型指导。

点评:PAWM 通过聚焦关键的失败点而非全局观测,实现了更经济且更具针对性的前瞻预测,为提升黑盒 LLM 代理的鲁棒性提供了新思路。

原文链接: https://arxiv.org/abs/2610.29139

[h] 返回首页