在推理时，引导方法为大型语言模型（LLMs）和视觉语言模型（VLMs）提供了一种轻量级的替代方案，允许在测试时修改内部激活而无需更新模型权重。然而，大多数现有方法依赖于固定的全局干预向量，忽视了单个输入标记的因果影响，且未能有效利用模型 logits 的有用梯度，特别是在视觉与文本输入贡献不均的多模态环境中。
为了解决这些局限性，我们引入了 GrAInS，这是一种在语言模型与视觉语言模型及相关任务中均可使用的推理时引导方法。GrAInS 采用对比性、基于梯度的归因，利用集成梯度（Integrated Gradients）识别出对输出结果贡献最大的前 k 个标记，这些标记根据其对偏好与不偏好输出的贡献被正向或负向归因。随后，这些标记用于构建方向性引导向量，从而捕捉从不理想行为到理想行为的语义转变。
在推理过程中，GrAInS 根据标记级归因信号调整变换器层的隐藏激活，并对激活进行归一化，以保持表示规模。这使得在不重新训练或辅助监督的情况下，实现了对模型行为的细粒度、可解释和模块化的控制。实证结果表明，GrAInS 在准确性和模型表现上均优于微调和现有的引导基线：在使用 Llama-3.1-8B 的 TruthfulQA 上，准确率提升了 13.22%；在使用 LLaVA-1.6-7B 的 MMHal-Bench 上，幻觉率从 0.624 降至 0.514；在 SPA-VL 上对齐胜率提高了 8.11%，同时保持了模型的流畅性和通用能力。
博主点评： GrAInS 方法通过引入基于梯度的动态调整，实现了对模型行为的高效控制，展示了在多模态任务中优化模型响应的潜力。其优越的实验结果表明，在不依赖重训练的情况下，推理时的灵活调整可以显著提升模型的性能和可靠性，具有广泛的应用前景。