DeeperRadar是一个以雷达为中心的框架,旨在通过学习稀疏采集模式端到端地共同设计雷达感知与多模态3D检测,适用于自动驾驶移动。其核心是一个可学习的MIMO设计模块,该模块在融合网络中进行端到端训练,直接处理原始雷达ADC数据,同时结合摄像头图像和激光雷达点云。
在训练过程中,设计模块受到其他传感器的监督,使得系统能够学习激活哪些接收天线以及激活的有效数量。在部署时,设计模块被移除,并用学习到的稀疏子采样掩码替代,保持下游模型架构不变。
经过对RADIal数据集的评估,DeeperRadar发现稀疏、任务感知的雷达配置,其性能匹配或超越全阵列基线,同时使用更少的接收器,这有助于降低雷达成本和集成复杂性。这些结果表明,学习到的最优MIMO雷达设计依赖于融合堆栈和下游感知任务。
博主点评: DeeperRadar通过引入可学习的MIMO设计模块,展现了雷达与其他传感器融合的新思路,显著提升了自动驾驶感知的效率和成本效益。这一创新不仅推动了感知技术的发展,也为未来的智能交通系统奠定了基础。