多视角表示让预训练的图像/视频视觉语言模型能够感知 3D 场景,但冗长的视觉令牌序列导致推理成本高。冗余既来源于不同视角对同一区域的重复观测,也来源于在每个 LLM 层都处理全部视觉令牌,而不考虑其当前计算的相关性。
GeoGR 提出两阶段框架,同时压缩场景表示和视觉计算。投影层使用 GeoSemZip 将跨视角观测合并为 3D 体素令牌,并结合语义显著性与空间覆盖度构建紧凑的场景表示。未被选中的体素特征会聚合到上下文锚点中,以保留本会被丢弃的场景信息。
在 LLM 层面,首先确定有效的视觉计算窗口,观察到查询条件下的令牌相关性在局部层内保持稳定,但在更长的层间会变化。基于此,GroupRoute 采用晚进入、早退出并可恢复的组级跳过策略:低相关令牌可跳过完整的 LLM 层,同时保留其隐藏状态;在后续的锚点层(受计算预算约束)可以重新加入活跃组。
为适配压缩感知的后训练,构建了 67K 条样本的紧凑数据集,仅保留原训练池的 30%。在该协议下,GeoGR 在 LLaVA-OneVision-7B 与 Video-3D LLM-7B 上分别保持 95.2% 与 96.8% 的稠密后训练模型性能,同时将 LLM 预填充速度提升 $6.8\times$ 与 $6.1\times$。这些结果表明 GeoGR 在有无显式 3D 空间编码的 3D VLM 中均能实现一致的性能‑效率平衡。代码已开源:https://github.com/EIT-NLP/GeoGR
点评:GeoGR 通过空间‑语义压缩和组路由两手段,有效削减了 3D VLM 的计算开销,保持了高水平的视觉语言理解能力,为大规模 3D 场景建模提供了实用的效率方案。