NeFut Logo NeFut
EN 管理员登录

[AI学术] 第二思考:通过比较想象进行世界模型的探索与规划

发布于:2026-10-24 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #Neural

世界模型让智能体在实际行动前比较想象的结果,但仍需决定哪些备选方案值得探索,以及何时让计划取代已学习的策略。我们提出 SDI(Sibling Disagreement in Imagination),它通过共享的基于 actor 的参考将这两个决策联系起来。SDI 在同一模型状态下对比多条想象的动作序列,使用 actor 自身序列的多次 rollout 来衡量在固定行为下的变异程度。该参考既放大候选回报的离散度,提供探索信号,又衡量计划的预测优势,用于决定是否接受动作。智能体仅在计划的优势超过参考变异度的固定因子时执行计划动作;否则继续执行 actor。SDI 复用基础智能体的世界模型、actor 和 critic,无需额外的分歧集合。探索与规划共同驱动训练数据的收集,评估阶段仅使用学习到的 actor。实验在 Meta-World、Adroit 和 DM‑Control 三套基准上,SDI 在每套任务中均取得最高的任务平均分,并在 18 项任务中有 15 项的表现匹配或超越最强基线。进一步的组件消融和鲁棒性分析揭示了探索、规划曝光和动作接受的具体作用。来自相同模拟器状态的配对评估表明,门控机制既提升了从 actor 失效中的恢复能力,又保留了成功行为,相比无门规划显著降低了回报下降。整体结果支持将想象备选方案与共享的 actor 参考进行比较,作为统一的世界模型探索与规划方法。

点评

原文链接: https://arxiv.org/abs/2610.28779

[h] 返回首页