摘要
多模态大语言模型能够发出局部化预测，例如物体的边界框以及视频和音频事件的时间窗口，但它们在这些区域的预测中常常出现幻觉现象。模型自身的标记对数概率几乎没有信息量：它们混淆了基础质量与输入模糊性，一旦模型做出承诺，坐标标记变得几乎确定。
我们提出了多标记局部注意力机制（MTLA）：一种无训练的后处理评分方法，用于衡量预测标记对其声称区域的关注程度。以往基于注意力的检测器通过对整个输入模态的注意力求和并读取单一响应标记，表现较弱；我们展示了仅在所声称区域内求和，并在所有预测标记间聚合，能够恢复更强的基础信号。这一方法几乎可以简单地应用于其他模态和任务：包括图像中的物体检测以及视频和音频中的时间定位。
在多个多模态大语言模型（MLLM）系列和三种模态下，MTLA在幻觉AUROC指标上提高了7至38个百分点，超越了最佳的无训练基线。作为重新排序的置信度评分，它几乎将开源8B通用模型的零-shot COCO检测AP从20.4提高到37.0，缩小了与监督检测器的差距，而无需任何特定任务的训练。
博主点评： 这种无训练的局部注意力机制为多模态大语言模型的应用提供了新的思路，尤其在减少幻觉现象方面表现突出。MTLA的创新不仅提升了模型的可靠性，还在多个领域中展现出了广泛的适用性，具有重要的实际意义。