有效的仇恨内容检测对于维护健康的在线社区至关重要,但不同语言之间的检测性能差异显著。本文聚焦一个核心实践问题:一种语言的标注数据能否在另一种语言上实现相近的检测效果?为此,我们在 14 种语言上开展了大规模实验。结果显示,语言对之间的迁移效果呈现一致的模式,语言相似度是最强的预测因素,而时间重叠度和数据集规模差异的影响相对较小。尽管这些可量化因素解释了大部分趋势,但仍有部分现象未被覆盖。通过补充的定性分析,我们提出共享的文化线索和交际规范可能在若干语言簇中起到关键作用,这一解释基于观察而非因果测量。研究还涵盖了低资源语言,提供了跨语言迁移在何种情况下能够帮助这些语言以及其局限性的实用洞见。总体而言,这些发现为构建更可靠的多语言仇恨检测系统提供了设计依据。
点评