在极端条件下，RGB和IR图像之间的互补信息可以显著提升目标检测性能。现有方法倾向于基于YOLO构建的双流CNN骨干网进行特征提取，并专注于特征融合的设计。本文提出了拉普拉斯解耦特征增强模块（LDFE），用于融合双流CNN骨干网不同阶段的特征。LDFE通过全局-局部分解、去噪、融合和重建，综合考虑模态和结构特征。
LDFE首先基于拉普拉斯金字塔将特征分离为全局和局部组件，然后分别基于全局状态空间增强模块（GS2E）和局部卷积相关增强模块（LC2E）进行去噪和融合。具体而言，GS2E采用双分支架构处理主模态和辅助模态。它通过来自辅助模态的跨模态注意力动态抑制主模态中的噪声，同时利用状态空间模型捕获主模态全局特征表示中的长程依赖。
为了实现双向交互，两种模态系统地交替其主/辅助角色。此外，LC2E在局部特征中抑制噪声，利用空间和通道维度结合三重卷积提取细粒度细节进行融合。这些创新设计实现了显著的性能提升，在M3FD、DroneVehicle、LLVIP、FLIR-Aligned、KAIST和VEDAI数据集上，mAP分别超越SOTA方法6.2%、3.7%、4.7%、2.3%、4.1%和2.0%。
博主点评： LDFE模块通过创新的全局-局部特征处理方法，显著提升了RGB与IR图像的融合效果，为极端环境下的目标检测提供了强有力的技术支持，展示了双流CNN架构的巨大潜力。其在多个数据集上的优异表现，进一步证明了该方法的有效性与应用前景。