在现实世界场景数据中,三维几何常常是不完整的。主流方法通常使用深度估计器来填补缺失的结构。然而,这些预测结果可能与观察到的几何形状不一致,或在分布外数据上不可靠。为了解决这些问题,我们提出了神经深度场(Neural Depth Field, NDF)。
我们认为深度估计器可以视为场景级的隐式场。作为一个估计器,它通过学习观察到的深度数据来适应目标领域;作为一个隐式场,它拟合现有几何形状以保持一致性。在这种视角下,NDF通过单次测试优化解决了上述两个问题。
实验结果表明,NDF在多样化场景数据中生成了高保真和全局一致的几何形状,从室内扫描到卫星图像,跨视图不一致性降低了63.3\%,填充准确性提高了23.1\%,在三维场景几何填充中达到了最先进的性能。代码可在此获取:NDF GitHub。
博主点评: NDF的提出为三维场景重建带来了创新的视角,通过将深度估计与隐式神经场相结合,显著提升了几何一致性和填充准确性,为未来的研究开辟了新方向。该方法的成功也展示了深度学习在计算机视觉中的强大潜力。