在数据稀缺的领域如安全性中，如何有效地从有限的数据中学习至关重要。大型语言模型（LLMs）在数据高效学习方面展现出了一定的能力，尤其是通过参数高效适应方法，但在面对少量样本的困难任务时仍然存在挑战。为了解决这一问题，我们提出了一种名为注意力头重标定（Attention Head Reweighting, AHR）的方法，该方法通过为每个注意力头学习单个标量，来实现LLMs在新的文本分类任务上的数据高效适应。这大幅减少了需要学习的参数数量，利用了各个注意力头的功能专门化。
在多种开源文本分类数据集上的实验表明，AHR在有限样本学习时能够超越标准基线（如LoRA），尽管其可训练参数数量减少了200-1000倍，AHR仅修改了约0.0001%的模型参数。此外，我们学习到的权重易于解释，并且可以进行分析，以更好地理解LLMs在上下文学习能力中负责的机制和注意力头。
博主点评： AHR方法通过简化学习过程，显著提高了在数据稀缺情况下的学习效率，为大语言模型的应用提供了新的视角和工具，尤其在安全等领域具有广泛的应用潜力。此方法的可解释性也为模型调试和优化提供了便利。