传统的 RGB 相机因其能够捕捉丰富的外观和语义信息而被广泛应用于多目标跟踪。然而，在复杂的现实场景中，如运动模糊、低照明和过曝等，其性能往往受到影响。生物启发的事件相机提供了高时间分辨率和高动态范围，在极端场景下提供了互补线索。尽管如此，由于缺乏大规模且良好标注的数据集，RGB-事件多目标跟踪仍然未被充分探索。为了解决这一问题，我们提出了 FEMOT，一个大规模的 RGB-事件多目标跟踪数据集，涵盖了多样的现实场景和 14 种挑战性属性。FEMOT 包含 RGB 和事件数据以及高质量的标注，为系统评估 RGB-事件多目标跟踪方法提供了可靠的平台。基于 FEMOT，我们重新训练并评估了十多种强大的跟踪器，从而建立了一个全面的基准，供未来研究使用。此外，我们提出了 FEMOTR，一个多模态跟踪框架，该框架将 RGB 和事件特征解耦，并在频域中融合，从而有效利用其互补特性，增强物体定位和身份关联的鲁棒性。在 FEMOT 和 DSEC-MOT 数据集上的大量实验验证了所提方法的有效性。源代码和基准数据集已发布在 GitHub。
博主点评： FEMOT 数据集的推出为 RGB-事件多目标跟踪的研究提供了重要的基础，使得研究人员能够在真实世界的复杂场景中进行系统化评估。通过将 RGB 和事件特征的频域融合，FEMOTR 框架展现了在物体跟踪任务中更强的鲁棒性，具有广泛的应用前景。