摘要
视觉变换器在图像分类中表现出色，但对所有图像区域几乎使用相同的计算，尽管许多区域可能是冗余或无信息的。近期的自适应推理方法通过选择性压缩令牌或提前终止推理来降低计算成本，但结合这些机制往往会导致中间表示不稳定和准确性下降。
我们提出了 Fusion，一个统一的自适应推理框架，通过简单的分阶段设计来协调令牌合并、早期退出和令牌修剪：首先合并令牌，然后评估置信度，最后仅对继续推理的样本应用修剪。这种顺序允许这三种机制协同工作，而不是相互竞争。
Fusion 还包括轻量级路由模块，根据每个输入自适应压缩强度，并支持在推理时调整准确率与延迟的权衡，而无需重新训练。在 ImageNet-1k 数据集上，使用 DeiT-S，Fusion 在可比计算预算下匹敌或超越了最先进的自适应 ViT 方法，同时将校准误差降低了多达 $4\times$，推理能耗减少了 $48\%$。在 ImageNet-100、CIFAR-100 和 ImageNette 等多个数据集上进行的实验展示了该方法的一致性转移能力，无需针对特定数据集进行调优。
博主点评： Fusion 框架通过协调多种自适应推理机制，显著提高了视觉变换器的计算效率与准确性。这种设计不仅提升了模型的实用性，还为未来的研究提供了新的思路，尤其是在资源受限的环境下。它的轻量级路由模块更是为适应不同输入提供了灵活性，值得关注。