本文探讨语义上下文如何决定学习得到的向量表示的几何结构。传统检索通常使用余弦相似度,它隐含一种固定的几何度量。然而,语义相似性本质上是上下文相关的:两幅图像可能因为描绘同一对象、共享视觉风格或对应相同临床发现而被视为相似。
核心思路是将对比学习、指数族分布和信息几何结合起来,建立“锚点”概率分布与表示空间上 Bregman 几何之间的对应关系。通过这种对应,锚点的分布本身就决定了几何度量的形态。
基于上述对应,作者提出了 Anchor Divergence(锚点散度)的方法,用于在固定的向量表示上指定特定语义上下文的几何结构。换句话说,建模锚点分布即等价于建模语义相似度的几何。
实验在图像检索任务上进行,结果表明锚点散度能够高效、有效地实现上下文特定的语义相似度度量,显著提升检索性能。
点评