在大型视觉语言模型中，高分辨率输入引入了成千上万的视觉标记，这些标记中许多对于特定查询而言是冗余的。现有的剪枝方法通常结合了查询相关性和标记多样性，但在激进压缩的情况下，这两者目标可能会冲突：相关性驱动的选择可能过度集中预算于相关的局部证据，而多样性驱动的选择可能会抑制不可或缺的标记或保留不同但无信息的区域。我们提出了AnchorPrune，一个无训练框架，首先构建一个受保护的相关性锚点，然后将其与互补的视觉上下文进行扩展。AnchorPrune 自适应地根据相关性排名标记的新颖性特征确定锚点大小，保留了一组紧凑的查询关键证据，并通过重要性加权的新颖性分配剩余预算，以恢复与锚点相关的信息丰富的非冗余上下文。这种有序设计防止了上下文扩展取代不可或缺的查询线索，同时改善了整体视觉覆盖率。AnchorPrune 轻量、架构感知，且无需重新训练或模型修改。在图像和视频的视觉语言模型及基准测试中，AnchorPrune 在准确性与效率的平衡上持续优于无需训练的基线，尤其是在严重压缩的情况下。在 LLaVA-NeXT-7B 上，AnchorPrune 仅使用 160 个视觉标记就保留了 97.6% 的全标记性能。这些结果确立了基于相关性的上下文扩展作为高效多模态推理的有效原则。代码可在 GitHub 获取。
博主点评： AnchorPrune 的提出为视觉标记剪枝提供了一种新思路，通过建立相关性锚点并扩展视觉上下文，能够有效平衡准确性与效率，尤其适用于高压缩场景。其训练自由的特性使得模型在实际应用中更具灵活性，值得关注。