摘要
理解预训练语言模型嵌入的几何结构对可解释性和安全性至关重要。我们探讨句子级分类信号是否存在于上下文标记嵌入的黎曼几何中，并通过从学习到的编码器的解析雅可比中提取每个标记的回拉度量，结合在对称正定（SPD）流形上的 Fréchet 均值进行聚合，称之为黎曼均值池化（RMP）。
在三个具有非平凡语言结构的数据集（CoLA、CREAK、RTE）上，RMP 的表现优于欧几里得均值池化；而在为去除注释驱动的词汇伪影而构建的基准 FEVER-Symmetric 上，该方法正确地保持在随机水平。消融实验表明，随机初始化的编码器结合 Fréchet 聚合在三个信号承载数据集中的两个上已经超越了欧几里得池化，定位到增益的来源在于几何聚合而不是学习的流形结构；训练的编码器在 CREAK 上贡献了额外信号，这是三个信号承载数据集中知识量最丰富的。
博主点评： 本文通过引入黎曼均值池化（RMP）方法，成功揭示了预训练语言模型嵌入的几何特性，显示了几何聚合在提升模型性能方面的潜力。该研究为语言模型的可解释性和安全性提供了新的视角，值得继续深入探讨。