摘要
长期的动物重识别(ReID)必须对逐渐的形态演变和季节性外观变化保持鲁棒性。尽管最近的视觉-语言模型提供了强大的预训练视觉表示,适应它们到长期生态环境仍然具有挑战性,尤其是在身份和时间分布变化的情况下。我们提出了一种参数高效的 CLIP 适应框架用于动物重识别,并引入了一种连续元数据调节机制,该机制在训练期间将数值属性直接纳入提示表示。
低秩视觉适应、基于提示的监督和跨模态对齐提供了适应框架,而提出的元数据调节策略构成了主要的方法论贡献。通过保留数值元数据的连续结构,而不是将其离散化为文本类别,所提出的方法在训练期间实现了嵌入空间的平滑调节,同时保持了纯视觉推理管道。
在一个长达七年的鱼类数据集和多个野生动物基准上的实验表明,在闭集、开集和时间感知评估协议下,性能得到了改善。结果表明,连续元数据调节提高了对长期外观变化和时间分布变化的鲁棒性,而参数高效的适应使得在测试时无需元数据即可实现纯视觉推理管道。
代码和评估分割可以在以下网址找到:GitHub。
博主点评: 该研究通过引入连续元数据调节机制,显著提升了动物重识别在动态环境下的适应能力。这种方法不仅优化了模型参数的使用效率,还提升了视觉推理的流畅性,展现了在生态监测中的潜在应用前景。