NeFut Logo NeFut
EN 管理员登录

[AI学术] 自我改进的智能体与世界模型预测路径

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

大型语言模型(LLM)智能体正被期望在部署期间与环境交互并持续提升决策质量。现有工作较少探讨如何同时利用对未来结果的预测和累计交互经验来支持决策。

我们提出一种基于测试时的框架,受 Model Predictive Path Integral(MPPI)控制启发,结合多分支预测分析与经验自适应。每一步,智能体会生成若干候选动作,并使用世界模型对这些动作的后续观察进行想象,从而在不实际执行的情况下比较备选方案。

语言环境缺乏显式动力学和代价函数,因而我们对预测的结果进行任务进度和风险评估,得到每个候选的代价 $S_i$。随后采用 MPPI 权重 $$ w_i = \frac{\exp\big(-\frac{S_i}{\lambda}\big)}{\sum_j \exp\big(-\frac{S_j}{\lambda}\big)} $$ 引导最终动作选择。

双分支经验记忆实现自我改进:规划分支负责候选生成与动作筛选,世界模型分支负责下一个观察的预测。两者在交互过程中相互更新,提升候选质量和预测准确性。

在 ALFWorld 与 ScienceWorld 两套基准上,使用三种不同的主干模型进行实验。结果显示本方法在整体性能上显著优于基线,并验证了经验引导的预测控制的有效性。

代码将在公开仓库中发布。

点评:该工作将控制理论中的 MPPI 思路巧妙移植到语言环境,展示了预测与经验相结合的自我改进路径,为 LLM 智能体的可部署性提供了新思路。

原文链接: https://arxiv.org/abs/2610.28945

[h] 返回首页