[AI学术] PLURAL：全球价值对齐数据集的崭新探索

在全球范围内，大型语言模型（LLMs）被广泛使用，但它们往往偏向西方价值观，限制了对多样化价值体系的代表能力。为此，我们推出了 PLURAL，这是一个以价值为核心的大规模偏好数据集，基于涵盖92个国家的全国性代表性调查——综合价值调查（IVS）。

我们采用两阶段生成管道，将调查响应转化为合成的偏好三元组，这些三元组在保留规范价值信号的同时，产生现实场景。我们发布了 PLURAL 的初始版本，包含约 500,000 个偏好三元组，代表 20 个多样化国家。

我们通过三种方式评估 PLURAL：

1. 数据集级验证，显示它保留了来自原始调查的跨国价值差异和国内多样性；
2. 自动化评估结果表明，在 PLURAL 上进行训练提高了与目标国家文化特征的对齐，平均绝对误差相较于强基线减少了最多 27.7%；
3. 通过在印度、巴西和日本的 176 名评估者进行盲评，结果显示 PLURAL 对齐的响应被认为更能代表他们的国家价值观。

这些结果表明，PLURAL 包含可学习的价值引导信号，为多元对齐提供了可扩展的资源。

数据集链接：PLURAL Dataset

博主点评： PLURAL 数据集的推出为大型语言模型的价值对齐提供了重要的基础，特别是在多文化背景下的应用。这一数据集不仅丰富了语料库，还为未来的模型训练提供了更具代表性的价值信号，期待其在实际应用中的表现。