NeFut Logo NeFut
EN 管理员登录

[AI学术] SpatialASM:将主动空间心像内化用于空间推理

发布于:2026-10-14 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #LLM

在处理复杂的空间推理任务时,人类会主动从任务相关的视角重新审视场景,并在脑中重建该视角下的空间布局。我们将这种能力称为主动空间心像(Active Spatial Mentalization,ASM),它是视觉智能的核心组成,却在现有的大型视觉语言模型(LVLM)中几乎缺失。为弥补这一不足,本文提出 SpatialASM——一种通过训练时空间模拟将 ASM 融入 LVLM 的可扩展框架。\ \ SpatialASM 采用基于 allocentric 的新视角生成器,将假设的观察点锚定在已有视觉证据上,并生成两类互补监督:\

  1. 显式 ASM 轨迹,教会 LVLM 在何时以及如何自适应地启动视角规划与想象,以支持空间推理;\
  2. 自动构建的视角转换任务,进一步强化视角条件下的场景想象能力。\ \ 我们在七个基准上评估了该方法,涵盖从感知导向的空间理解到需要多图像、跨视角以及视角变换推理的更高难度任务。实验使用四种不同的 LVLM 主干模型,结果显示 SpatialASM 在所有基准上均提升了准确率,同时保持了原有的通用视觉能力。\ \ 此外,ASM 轨迹的合成提供了一条可扩展的路径,缓解了空间链式思考(Chain‑of‑Thought)监督数据稀缺的问题,从而促进模型主动探索视角并进行心理场景模拟。\ \ 点评
原文链接: https://arxiv.org/abs/2610.13832

[h] 返回首页