摘要
消费级深度传感器，如最近iPhone上的LiDAR扫描仪，提供了度量范围，但有效范围较短且返回稀疏。我们提出了DH-Active，一个轻量级的、无训练的几何后端，将传感器视为度量标尺，而不是唯一的深度来源。近场返回通过PnP锚定两个视图的度量相对位姿；在该位姿下，视觉可追踪的样本（即使没有有效的深度返回）也会进行三角测量。一个视差/重投影门在几何条件不佳的情况下选择性放弃，留下一个明确的孔和选择性评分，而不是强制估计。
测量的核心前端包括螺旋采样、稀疏回投影和孔分类，但不包括预处理和多视图恢复，其在CPU上以1.11毫秒的中值延迟运行（使用OpenCV和14个线程），比我们测试环境中DINOv2-L视觉分支在GPU上的速度快约38倍。在两个iPhone捕获和公共TUM RGB-D及ARKitScenes基准测试中，保留的深度以1.4%到6.7%的中值相对误差被恢复。在一个控制的ARKitScenes协议中，仅使用2米内的返回来设定尺度，并使用独立的激光扫描作为真值，DH-Active在可评估的远场候选中实现了64.2%的场景中值覆盖率，场景中值相对误差为13.4%；直接从设备轨迹进行三角测量不可用。我们还报告了在测试中失败的替代方案：单帧散焦、经典焦点堆栈深度、散焦-LiDAR融合、在良好的视觉惯性轨迹上的点对点ICP以及关注孔的重采样。经过oracle尺度对齐后，1.26B的学习模型仍然更准确。这里的贡献更为狭窄：度量稀疏深度、明确放弃、零学习参数和近毫秒的CPU成本。
博主点评： 该研究提出了一种创新的主动几何方法，通过将LiDAR传感器作为度量工具，显著提升了深度恢复的精度与效率。其选择性放弃机制在处理几何条件不佳时表现尤为出色，确保了结果的可靠性。这种方法在实际应用中具有很大的潜力，尤其是在增强现实和计算机视觉等领域。