大型语言模型(LLM)在文化敏感场景中的使用日益增多,模型对齐需要能够表现人口内部的多样化偏好。现有方法通常在粗粒度的人口或社区层面建模,忽视了同一群体内部的变异。
我们提出 人口多元主义(Demographic Pluralism),一种推理时框架,能够在没有偏好分布标注数据或任务特定微调的前提下,估计整体人口的意见分布。核心思路是基于人口学属性生成多个视角,然后在推理阶段对这些视角进行聚合。
在 GlobalOpinionQA 与 VITAL 两套基准上,使用四种主干模型进行实验。相较于 Modular Pluralism,人口多元主义将 Jensen‑Shannon 距离降低了 8.4%–26.4%。Jensen‑Shannon 距离的定义为 $JS(P\|Q)=\frac12 KL(P\|M)+\frac12 KL(Q\|M)$,其中 $M=\frac12(P+Q)$。
我们比较了加权、等权重和逆加权三种聚合方式,实验表明等权重聚合整体表现最佳。进一步分析发现,随着群体权重的提升,群体层面的误差也会增大,这解释了加权聚合效果较弱的原因。
点评:人口多元主义通过在推理阶段引入人口学视角,实现了对内部多样性的细粒度捕捉,提供了一条无需额外标注或微调即可提升对齐质量的可行路径。