NeFut Logo NeFut
EN 管理员登录

[AI学术] 通过单纯形约束表示消除模态差距

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #Geometry

多模态对比模型如 CLIP 与 CLAP 能够学习共享表征,但其嵌入往往存在显著的模态差距。本文提出一种纯几何的解决方案:将嵌入空间从单位球面 $S^{d-1}$ 改为概率单纯形 $\Delta^{d-1}$。两者虽具有相同的内在维度,单纯形的非负、单位质量约束提供了结构先验,充当跨模态校准,使得不同模态在同一坐标系中落脚。我们在模型前端加入轻量级的 softmax 适配器,并采用全变差(Total Variation)相似度度量。实验在五个多模态检索基准上将中心 $\ell_2$ 差距降低了 97%–99%,验证了单纯形几何能够实现真实的语义对齐,检索性能甚至超过了标准的无约束模型。

点评

原文链接: https://arxiv.org/abs/2610.32890

[h] 返回首页