NeFut Logo NeFut
EN 管理员登录

[AI学术] 拆解视觉语言模型中的多模态旋转位置嵌入

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#AI #Machine Learning #Neural

视觉语言模型普遍使用多模态旋转位置嵌入(MRoPE),它在 RoPE 基础上加入时间、高度和宽度三个轴,以编码视觉 token 的空间结构。MRoPE 还会为文本 token 分配高度和宽度坐标,虽然文本本身缺乏空间属性,却因此在文本‑视觉注意力中引入了空间位置效应。现有的 MRoPE 变体通过不同的频率分配和坐标布局来实现,这暗示了两种可能的直觉:一是跨模态的空间效应可以为语言与视觉区域的对应提供有用的参考;二是它可能带来不必要的位置信息偏好,阻碍文本‑视觉交互。\n我们首先将视觉内部的空间结构(intra‑visual)与跨模态的空间效应(cross‑modal)进行解耦,发现共享坐标布局的约束导致在保留视觉内部编码的同时难以完全去除跨模态效应。基于此,我们设计了受控实验,分别评估两者的贡献。实验覆盖多个模型规模、不同 MRoPE 变体以及多项基准任务。\n结果表明,跨模态空间效应作为空间参考的增益微乎其微,甚至在部分设置下会削弱模型性能;而视觉内部的空间编码仍然对细粒度定位任务保持显著帮助。\n点评:跨模态位置嵌入的空间偏好并非必要,研究者应聚焦于提升视觉内部的空间表征,而非盲目引入文本的空间坐标。

原文链接: https://arxiv.org/abs/2611.13334

[h] 返回首页