摘要
可解释性方法旨在揭示大语言模型（LLMs）内部表示的特征。许多现有方法依赖于人类定义概念的标记示例，这可能反映出人类的偏见，然后识别该概念在模型中的表示，例如在其激活空间或通过其他分解方法中。
我们提出了 \textit{Mining via Activation Geometry}（MAG），这是一个简单的无监督框架，通过将相同的自然语言指令 $Q$ 预先附加到每个输入 $p$，从模型激活中提取推理特征，其中 $Q$ 定义了感兴趣的推理特征，例如“这个物体能在沙漠中找到吗？”或“这个提示是恶意的吗？”
我们测量指令如何改变模型内部表示，使用公式 $m(Q \,|\, p) - m(p)$ 在单一读出点进行计算。我们探索了八种不同的MAG。提取的推理特征能够预测模型自身的世界理解和判断，可以近似为单一激活方向。我们发现一些特征的线性表示更强，而一些则较弱，这种线性表示，即向量引导，能够通过注入推理特征来改变LLMs的决策。
最后，我们使用相同的方法选择最佳训练数据集用于提示注入分类器探针：尽管普通激活之间的相似性与下游性能几乎无关，基于RFD的相似性却达到了94.7%的Top-1和100%的Top-2准确率。
博主点评： 这项研究通过无监督的方式深入挖掘大语言模型的激活几何特征，展示了如何利用指令引导模型的内部表示，从而提高模型对特定任务的理解和判断能力。这种方法为模型解释提供了新的视角，尤其是在选择训练数据集方面，体现了激活几何在模型优化中的潜力。