NeFut Logo NeFut
EN 管理员登录

[AI学术] CoWorld Reasoner:基于演化视频世界模型驱动的智能多模态推理框架

发布于:2026-10-17 22:00 最后更新:2026-10-18 08:05
#AI #Multimodal #Reasoning

随着视觉语言模型(VLM)能力提升,研究者希望它们能够在时空维度上进行运动、动作和视角变化的推理,而不仅局限于输入图像本身。视频世界模型(VWM)通过生成任务相关的视觉内容,为视觉想象提供统一的引擎。然而,现有方法往往通过固定管线调用 VWM,限定在诸如新视角合成等单一想象形式,缺乏对多样化推理任务的适配能力。

CoWorld Reasoner 提出了一种 agentic 框架,将 VWM 作为统一的视觉推理引擎。其核心是 Video World Model-Driven Harness,向 VLM 暴露多种视觉操作工具,并通过一套 skill 集指导 VLM 决定是否需要想象、选择何种操作、构造生成请求以及解释返回的视觉证据。

为进一步提升系统适应性,作者设计了 VLM‑VWM Harness 共演机制:在执行过程中收集反馈,动态修正工具、skill 与执行代码,而模型权重保持不变。

在七个覆盖空间智能、时序因果推理和感知推理的基准上,CoWorld Reasoner 均超越了直接使用同一 VLM 的基线。最强变体在 MMSI 上提升 11.8%,在 ERQA 上提升 13.0%,并在五个基准上全面领先于使用相同骨干网络的五个演化基线。

点评

原文链接: https://arxiv.org/abs/2610.21910

[h] 返回首页