在细粒度视觉分类（FGVC）任务中，由于类间差异微妙和类内变化较大，仍然面临诸多挑战。现有方法通常依赖特征选择机制或区域提议策略来定位语义分析的判别区域，但这些方法往往无法全面捕捉判别线索，并引入了大量类别无关的冗余。
为了解决这些问题，我们提出了H3Former，这是一种新颖的令牌到区域的框架，利用高阶语义关系聚合局部细粒度表示，并采用结构化的区域级建模。
具体而言，我们提出了语义感知聚合模块（SAAM），该模块利用多尺度上下文线索动态构建令牌之间的加权超图。通过应用超图卷积，SAAM捕获高阶语义依赖关系，并逐步将令牌特征聚合为紧凑的区域级表示。
此外，我们引入了超曲率层次对比损失（HHCL），该损失在非欧几里得嵌入空间中强制施加层次语义约束。HHCL增强了类间可分离性和类内一致性，同时保持细粒度类别之间的内在层次关系。
在四个标准FGVC基准上的全面实验验证了我们H3Former框架的优越性。
博主点评： H3Former通过引入高阶语义关系和超图卷积，显著提升了细粒度视觉分类的表现。这种创新的聚合方式有效减少了冗余，提高了模型的判别能力，展示了在非欧几里得空间中进行层次对比的潜力，值得关注和研究。