摘要
3D密集描述作为一种新兴的视觉-语言任务，旨在为3D场景中的每个对象生成描述性句子。尽管之前的方法取得了令人印象深刻的结果，但仍存在两个主要限制。
首先，目前的研究通常采用全局刚性变换（如旋转）来增强场景，而不改变其空间布局。然而，多样的空间布局对于训练3D密集描述模型以描述对象之间的空间关系至关重要。
其次，之前的工作主要关注描述生成流程的设计，而在其他组件（即主干网络和检测头）的架构上使用简单的网络结构，这对提取丰富的语义信息以进行描述至关重要。
为了解决上述问题，我们提出了PVCap。PVCap由PseudoCap和VoxelCapNet组成。
具体而言，PseudoCap在数据集中对实例采用随机混合技术，生成多个具有多样空间布局的伪帧。通过使用教师-学生框架，PseudoCap为这些伪帧获取伪描述标签。这种数据增强方法显著增加了训练样本的数量，并提升了模型有效描述环境的能力。
关于VoxelCapNet，我们引入了一种强大的描述网络，利用体素特征并将描述头适配到基于体素的网络架构。我们的VoxelCapNet可以作为未来3D密集描述研究的竞争基线。
在两个流行的基准上进行了广泛的实验，即ScanRefer和Nr3D。值得注意的是，我们的方法在CIDEr@0.5IoU上分别超越了当前最先进的技术11.41%和13.99%。代码将公开发布。
博主点评： PVCap通过引入PseudoCap和VoxelCapNet，不仅解决了空间布局多样性不足的问题，还增强了模型对环境描述的能力，展示了在3D密集描述领域的创新思路。期待在实际应用中的表现！