摘要
最近的多模态大型语言模型（MLLMs）在弥合 2D 语义理解与 3D 空间几何之间的表现差距方面面临挑战。现有的 3D 感知模型要么依赖于昂贵的 3D 特定数据，要么利用仅 RGB 输入的启发式采样和单一的浅层融合，这两者分别破坏了必要的时空连通性，并在多样的空间任务中引发模态争用。
为了解决这些瓶颈，我们提出了 SpaR3D-MoE，这是一个端到端框架，通过仅使用稀疏 RGB 输入，赋予 MLLMs 几何感知能力，从而实现自适应空间推理。
首先，我们提出了一种自适应时空流形采样机制，构建一个几何感知的时空图，以提取信息丰富的关键帧，有效减轻序列冗余，同时保持场景的拓扑连通性。
其次，我们引入了异构几何诱导的专家混合体（Mixture-of-Experts），由一个指令-姿态感知路由器驱动，能够自适应地将多模态令牌路由到专门的专家，从而解决了单一融合中固有的跨模态争用。
在 VSI-Bench、ScanQA 和 SQA3D 上进行的大量实验表明，我们的方法实现了最先进的性能。值得注意的是，SpaR3D-MoE 在 VSI-Bench 上达到了 63.5 的最高平均分，比最强基线高出 7.8 分，同时在路线规划和相对方向任务中分别实现了 35.4% 和 51.4% 的相对提升。
博主点评： 此项研究通过引入几何感知和自适应路由机制，显著提升了 3D 空间推理的效率和准确性，展示了稀疏视图在多模态学习中的巨大潜力，未来有望推动更复杂的空间理解任务的发展。