摘要
大型语言模型展现出反复出现的行为模式——个性，这些个性影响着模型的泛化能力和安全性，但我们缺乏可靠的工具来分解、测量和控制这些个性。我们的核心见解是将个性视为行为特征空间中的位置，使用 OCEAN 框架通过开放性、尽责性、外向性、宜人性和神经质来描述模型个性。
我们训练低秩适配器来放大或抑制个体特征，并使用与人类验证小组校准的 LLM 评判者、特征特定的多项选择基准和标准能力评估来评估其效果。在来自三个家族的六个模型（4B-32B）中，我们发现每个适配器在规模上大体上单调地移动其目标特征，并与其他适配器大致加性组合以构建混合个性，同时在中等规模下保持能力基准的性能。
此外，我们还表明，诱导的特征轴会影响下游评估中的安全相关行为：例如，沿着神经质和宜人性轴的移动分别影响挫败感和迎合性。我们还引入了一种无监督心理测量管道，从模型的输出中恢复出四个可解释的行为因素（语调、主动性、教学性、认知谨慎）。因此，个性控制可以被视为在权重空间中学习、缩放和组合特征的过程，为个性测量、模型编辑和安全之间提供了桥梁。
博主点评： 本文通过OCEAN框架深入探讨了大型语言模型的个性特征，提出了低秩适配器的有效性，并揭示了个性特征如何影响模型的安全性。这为未来模型的个性化和安全性提升提供了新的思路，具有重要的研究价值和应用潜力。