开放词汇目标检测与分割旨在识别超出预定义类别的任意对象。尽管最近的视觉-语言和基于参考的方法在这一领域取得了显著进展，但它们通常依赖文本提示、有限的视觉示例或昂贵的特征匹配程序，这使得它们难以扩展到大型且不断扩展的对象库。
在这项工作中，我们提出了 VocaDet，这是一个样本驱动的开放词汇目标检测与分割框架，能够直接从用户提供的正负样本集合中学习对象概念，而无需重新训练模型。其关键思想是将连续的视觉表示转化为离散的视觉词汇，并通过可扩展的向量数据库执行高效的检索式识别。具体而言，我们采用 DINOv3 作为视觉特征提取器，并应用自适应聚类敏感度的聚合聚类方法生成多粒度视觉标记。这些视觉标记与去偏位置表示和空间拓扑信息一起，存储为可扩展的对象记忆于向量数据库中。
在推理过程中，查询图像被转换为视觉标记，并与存储的对象记忆高效匹配以实现对象定位和分割。此外，提出了一种背景过滤机制，以去除频繁出现的背景模式，并减少在固定摄像头场景中的冗余检索操作。实验结果表明，VocaDet 在 UA-DETRAC 数据集上实现了有效的开放词汇检测性能，而无需传统检测器训练，同时支持随着额外正负样本的积累而持续扩展的识别能力。
博主点评： VocaDet 的创新在于其样本驱动的学习机制，避免了传统模型训练的繁琐，且通过向量数据库的高效检索大幅提升了目标检测的灵活性和效率。这一方法为开放词汇检测领域开辟了新的可能性，尤其是在动态环境中应用的潜力不容小觑。