在自主驾驶领域,视觉-语言-行动(VLA)模型的进展显著。然而,现有方法往往缺乏全面的世界认知或面临碎片化的世界前瞻性,这使得模型只能进行反应式驾驶。为了解决这一局限性,我们提出了WCog-VLA,一种新颖的双层世界认知VLA框架,它成功地将语义世界预测与生成世界演变结合,实现了主动自主驾驶。
在语义层面,WCog-VLA通过结合3D空间感知和注入代理令牌来捕捉世界动态,从而统一了世界认知与推理,同时启用了博弈论链式思维(Game-CoT)推理。
在生成层面,我们引入了对齐解耦扩散变换器(ADDT),作为一种强大的生成世界模型,能够合成物理上可行的多代理轨迹。通过场景表示对齐,ADDT减少了所需的去噪步骤,从而显著加快了推理速度。
为了促进战略推理,我们进一步构建了一个包含85k个Game-CoT注释的大规模数据集。在NAVSIM基准上的广泛实验表明,WCog-VLA达到了92.9的最先进PDMS得分。
博主点评: WCog-VLA通过双层框架突破了传统VLA模型的局限,结合了更深层次的世界认知和生成能力,为自主驾驶的主动决策提供了强有力的支持。这一模型的成功验证了博弈论推理在复杂环境中的有效性,值得关注。