本文研究在仅有 $N \sim 100$--$500$ 对配对样本，而两侧未配对数据充足的情形下，对两个独立预训练的单模态编码器进行对齐的方法。我们首先用每个样本与 $N$ 个配对锚点的相似度来表示其特征，这样两种模态即可映射到同一坐标系。随后在整个样本池上求解一次熵正则化的最优传输问题，其边缘约束能够抑制在最近邻匹配中常见的 hub 现象。得到的传输计划再被蒸馏进两个轻量级编码器，使得对应关系具备归纳能力。我们进一步将该边缘约束与双语词典诱导文献中的一步 hub 校正建立联系。配对仅在锚点上必需，未配对集合可以独立从两侧边缘分布抽取，无需每个项目同时观测两种模态。实验在图像‑文本和分子‑文本对齐任务上进行，分别在 Flickr30k、MS‑COCO 和 ChEBI‑20 数据集上，以相同的锚点预算显著超越现有方法。
点评