摘要
分类树提供了关于概念之间语义关系和视觉语言内在组织的关键信息。尽管大型多模态模型（LMMs）具有强大的能力，但它们通常缺乏分类知识，导致层次视觉识别（HVR）一致性较低。这些模型在微调过程中通常仅依赖语言建模目标，缺乏显式的分类感知正则化。
为了解决这一问题，我们提出了一种层次表示正则化方法（$HiR^2$），这是一种简单的即插即用正则化器，能够改善LMM的层次一致性。
具体而言，我们引入了一种语义感知的视觉树构建框架，从中间的LLM层提取粗到细的视觉特征，并通过文本线索进行指导。该正则化器结合了两个互补的目标：一个是通过洛伦兹模型中的双曲包含锥来强制执行层次结构的分类蕴涵损失，另一个是促进语义相似嵌入在单位球面上角度分离的判别散布损失，同时不干扰径向层次结构。
大量实验表明，$HiR^2$能够有效捕捉不同LMM和微调方法中的分类结构。代码可在 GitHub 获取。
博主点评： 本文提出的$HiR^2$方法为多模态模型引入了分类结构的正则化，提升了模型的层次一致性，具有重要的应用前景和研究价值。通过语义感知的视觉树构建，不仅增强了模型的视觉理解能力，还为未来的模型设计提供了新的思路。