摘要
多模态大语言模型（MLLMs）在处理图像、视频、音频和文本等多种输入时展现出了强大的零-shot 能力。然而，针对动物相关场景的应用仍然是一个重要但未被充分探索的领域。动物在数百万家庭中扮演着重要角色，因此对下一代 AI 模型在宠物相关任务上的评估至关重要，这些任务包括识别痛苦信号和支持响应式机器人同伴等。
我们推出了 K9-Bench，这是一个新颖的基准，专注于真实的家犬视频，特别针对犬类动作和互动理解。该基准包含约 5000 个问答对，涵盖 907 个视频，分为 5 个不同的任务类别，测试 MLLMs 在犬类相关的长形式多模态推理能力。
为了创建该数据集，我们提出了一个可扩展的 VLM/LLM 驱动的数据生成管道，能够自动从网络中挖掘犬类相关视频，并整理出需要对犬类动作和时间延续的互动序列进行细致多跳推理的问答对。我们还实施了偏见缓解策略，以消除在数据集整理过程中由 VLM 引入的偏见。
通过广泛的实验，我们发现前沿的 MLLMs 在犬类相关任务上的零-shot 性能有限：尽管最先进的闭源模型在性能上优于开源模型，但在对细微姿态和互动线索进行组合推理时仍然面临挑战，尤其是在较长的时间范围内。我们观察到，通用的思维链提示对这种长时间推理的表现仅有适度提升。
除了为犬类活动分析提供新数据集，K9-Bench 还提供了一个通用数据集构建管道，可适用于其他低数据领域的定量分析。项目网站可访问：K9-Bench。
博主点评： K9-Bench 的推出为多模态大语言模型在动物行为理解方面提供了重要的基准，尤其是在宠物相关任务的应用上。尽管现有模型在零-shot 性能上表现不佳，但这一研究为今后的模型优化提供了方向，尤其是在复杂的交互和长时间序列推理上。未来的发展应更加关注模型的泛化能力和推理深度。