食物相似性是检索、推荐、替代等食物计算任务的基础,然而现有的食物表征大多只评估身份保持。
本研究关注身份之外的相似性:不同视觉表征如何将食物组织成关系邻域,这些邻域揭示或隐藏了哪些烹饪关系,以及这些结构在不同表征间的一致程度。
我们使用扩展的 Khana 数据集,选取七种预训练视觉模型,覆盖卷积、Transformer、自监督以及图文对齐等技术路线。
实验包括图像到图像检索、图像到菜品邻域分析,重点考察烹饪家族结构、对比案例以及跨模型的一致性。同时,将图像表征聚合到菜品层面,比较视觉相似度与基于配方的相似度。
结果显示,图像级邻域在不同表征之间差异显著,常出现跨烹饪家族的相似;在菜品层面聚合后出现共同的视觉结构,但该结构与配方相似度的关联较弱。
结论是,仅凭识别性能无法刻画关系结构;食物相似性受表征、模态和抽象层次的影响,必须先理解这些结构,才能将多模态信息融合为统一的相似性概念。
点评