本文基于722条联合国安理会官方记录,构建了五种互补测试以量化大语言模型(LLM)的国家层面偏见:意见排序(WOW)、关联排序(AK+-)、投票模拟(PVS)、反对归因(F-Oppose)和框架生成(Headliner)。为实现可量化评估,针对每种测试明确了无偏基线;其中WOW和AK+-的基线难以直接定义,本文提出基于可观测投票行为的动作式伪无偏状态作为参考。
在此基准上,对GPT-4o-mini、Llama 3.3‑70B、Mistral‑22B‑Small和Qwen3‑30B四款模型进行评测,覆盖安理会五个常任理事国。结果显示,无论测试类型如何,模型输出相对基线呈现统一宏观趋势:对中国和俄罗斯倾向于输出反对(红)立场,对英国、美国和法国则倾向于输出支持(蓝)立场。
这些发现表明,在面向国际关系(IR)场景部署LLM时,必须使用基于明确参考点的多测试基准进行审计,以防系统性国家偏见带来的操作风险。
点评:本文提供了系统化、可量化的偏见评估框架,尤其是对难以定义的基线提出了创新的投票行为衍生方法,为后续模型审计提供了可复制的路径。