在多模态大语言模型（MLLMs）中，空间推理仍然面临挑战，尤其是在需要视角转换的情况下。它们通常依赖于相机中心线索，而不是从参考对象的视角进行推理，这导致在非相机参考设置中的系统性错误。
本文首先分析了这种失败模式，指出对象方向是导致相机中心捷径行为的关键因素。为了解决这一问题，我们提出了OrientSAM，一个面向方向感知的空间对齐框架，旨在增强多模态模型的推理能力。
OrientSAM通过方向感知令牌和基于傅里叶的角度编码，向多模态表示中注入显式的方向信息，并采用课程学习策略，逐步提高对视角的敏感推理能力。此外，我们建立了一个空间数据构建管道，从大规模图像中生成方向感知空间监督。
在Spatial-MM、ViewSpatial和3DSRBench等数据集上的实验表明，OrientSAM在表现上优于强基线，尤其是在非相机视图、以人为中心和对方向敏感的任务上。结果进一步证明，显式的方向建模对于减轻相机中心捷径行为和增强多模态模型中的更稳健的分配空间推理至关重要。
博主点评： OrientSAM通过引入方向感知机制，有效提升了多模态空间推理的准确性，显示出方向信息在模型推理过程中的重要性，为未来的研究提供了新的思路和方向。其在非相机视角任务中的优异表现，预示着在多模态理解领域的广阔应用前景。