在本文中,我们探讨视觉基础模型是否构建了反映三维欧几里得空间内在特性的表示。与之前通过回归图像中心量(如深度或法线)来探测视觉特征的三维意识的研究不同,我们关注视觉特征空间的结构与欧几里得变换群 $SE(3)$ 之间的关系。我们提出了一套探测工具,从拓扑和几何的角度评估这种关系:一种互邻域度量,用于测量特征邻域与空间拓扑之间的对齐程度,以及一个庞加莱适配器(Poincaré Adapter),用于测试静态场景中潜在位移与相机运动几何的线性可达性。
我们展示了自监督视觉模型在原则上并未经过直接的三维监督或主动代理训练,但当正确探测时,其潜在子空间与三维欧几里得空间之间具有显著的相关性。基于这一洞察,我们提出了一类新的“潜在空间导航”技术,能够在潜在空间中执行视觉里程计和定位,绕过显式三维重建的需求。
博主点评: 该研究为自监督视觉模型在三维空间表示方面提供了新视角,揭示了潜在空间的几何特性与真实世界的紧密联系。这一发现可能会推动更高效的视觉导航算法的发展,减少对传统三维重建的依赖,具有重要的应用前景。