在3D重建和机器人定位中，一个基本挑战是可见性重叠问题，即确定哪些图像对共享重叠的可见表面，尤其是在重叠最小的情况下。我们的研究表明，VGGT隐式地编码了可见性重叠作为一种涌现行为：在没有任何监督的情况下，其内部表示展示出明显的层次结构，类似于大型语言模型。
早期层构建了一个3D感知的场景表示，而后期层则作为专门的可见性推理者。特别地，我们识别出L17层作为一个负锚点，无论评估设置如何，它始终将非可见对路由到该骨干网络，这为几何基础模型中的层专业化提供了基于任务的证据。
基于此，我们引入了Co-VGGT，它冻结VGGT并仅训练一个轻量级的层级专家混合头（参数少于7.5M）来仅从RGB图像中分类可见性重叠，将每一层视为一个专门的专家，其几何抽象根据输入对自适应加权。
在Co-VisiON基准测试中，Co-VGGT超越了人类注释基线，并在成对预测中提高了超过25%，在多视图中提高了超过10%。成对预测经过良好校准（ECE=0.030），可直接用作可见性图中的边权重，应用于下游的SfM和SLAM管道，无需后期修正。代码和数据均已公开。
博主点评： 这项研究展示了VGGT在几何推理中的潜力，通过层级结构的专业化显著提升了可见性重叠的分类效果，为3D重建和SLAM领域的实际应用提供了新的思路。值得关注的是其轻量化设计，使得模型在实际场景中更具可操作性。