语言模型（LMs）存在诸多问题性偏见，例如刻板印象。有效分析和缓解这些偏见需要准确且可推广的评估方法来分析潜在的关联性。
现有一些方法侧重于生成文本中的下游指标，但由于生成文本内容在不同的LMs中可能大相径庭，这些指标常常需要专门的评估数据集，从而限制了下游指标的泛化能力。
相对而言，上游指标则从嵌入或继续概率的基本层面分析LMs，使得跨LM的关联性分析更具原则性。然而，迄今为止，尚无针对生成LM的上游指标能够揭示与现实世界关联性的强关系，包括在生成文本中测量的偏见。
为了解决这一问题，我们提出了相对概率关联指标（RPAM），这是一个用于评估生成LM关联性的指标。通过对三种不同语言生成质量和目的的LM（Mistral-7B-Instruct、Mistral-7B和GPT-2）以及众所周知的评估数据集（WEAT-WS、Bellezza、WS-353和SST2）进行测试，我们发现上游RPAM测量与人类观察到的隐性和显性关联之间存在强关系，同时在特定LM任务中测量的偏见也得到了验证，且在适用情况下超越了先前的记录值。
博主点评： RPAM的提出为语言模型的偏见分析提供了新的视角，它强调了上游指标在评估关联性方面的重要性。这不仅有助于提升模型的公平性，还为后续的偏见缓解策略奠定了基础。