NeFut Logo NeFut
EN 管理员登录

[AI学术] 4DR360:联合3D检测与占用预测的状态推理新框架

发布于:2026-07-14 22:00 最后更新:2026-07-15 01:59
#algorithm #AI #Open Source

在可靠的自动驾驶中,全面场景感知是必不可少的,它将前景物体与密集的语义布局结合在一起。近年来,4D毫米波雷达作为一种强大且经济的传感器逐渐受到关注,但其稀疏的返回结果使得雷达与相机的融合成为全面场景理解的必要条件。现有的雷达-相机方法主要专注于优化检测,而双任务系统通常在解码框和占用状态时的交互有限。

为了解决这一问题并推进基于雷达的多任务学习,我们提出了\method,一个用于360$^{\circ}$全场景感知的4D雷达-相机框架,该框架将语义占用建模为持久的场景状态,而非终端输出。

\method{}遵循跨模态状态推理范式,模型和传播占用状态通过阶段进行粗到细的特征聚合。具体而言,状态引导的BEV增强(SBE)加强了帧内BEV表示,而多普勒引导的时间融合(DTF)则在更长的时间范围内保留状态证据。

除了模型本身,我们还扩展了ManTruckScenes,利用卫星图生成占用标签,并将其与OmniHD-Scenes配对,形成统一的跨数据集检测与占用协议。实验结果涵盖了准确性、鲁棒性、消融和在一个雷达-相机多任务评估框架下的效率。代码和标签将在接受后发布。

博主点评: 该研究通过引入状态推理机制,显著提升了雷达-相机融合的多任务学习能力,推动了自动驾驶技术的边界。尤其是通过跨模态状态建模,增强了场景理解的深度与广度,值得关注。

原文链接: https://arxiv.org/abs/2607.09629

[h] 返回首页