主观判断(如冒犯性)在不同个体之间差异显著,这促使研究者采用多元建模方法,并将标注者的社会人口统计信息纳入模型,以捕捉这种变异。
本研究聚焦三个核心问题:
- 社会人口统计信息在何时何地能够提升多元冒犯性建模的效果;
- 显式推理在利用这些信息时发挥何种作用;
- 与直接条件化相比,哪种方式更能产生有意义的预测提升。
我们在三套包含多位标注者的公开数据集上进行实验,使用提示式(prompted)和微调(trained)的大语言模型(LLM)。结果显示,单个样本的预测中人口统计增益往往很小且不稳定,但在对整个人群或子群体进行聚合后,增益变得更为明显。这是因为聚合过程削弱了个体层面的噪声,暴露出潜在的系统性人口统计信号。
为进一步探究机制,我们采用一种将个人判断分解为“整体基线 + 人口统计特定偏移”的推理与预测格式。实验表明,两部分均对性能提升有贡献:人口统计信息帮助模型更准确地估计整体基线,同时能够产生有意义的偏移量。通过干预实验验证,改进基线或偏移的估计均能提升最终的预测质量。
在直接将人口统计信息作为条件输入(conditioning)与显式推理(reasoning about text‑demographic interaction)之间的比较中,显式推理在基线估计、偏移估计以及最终预测上均表现更佳,而单纯条件化很少产生可解释的偏移。
这些发现表明,先前文献中关于人口统计信息价值的争议可能源于仅在个体层面进行评估。信息的实际价值取决于评估尺度以及模型被引导使用信息的方式。
点评