本文聚焦大语言模型（LLM）在真实部署中可能出现的行为偏差，如阿谀奉承、自我偏好和过度自信，并指出现有评估往往忽视文化背景，导致跨文化适用性受限。为填补这一空白，作者提出 CuBEs（Culturally‑situated Behavior Evaluations），通过在行为测试场景中注入文化信息来捕捉不同用户群体的响应模式。
实现上，研究者在自动化测试流水线中加入文化标签，并在每个测试案例的前置提示中嵌入对应文化的背景描述。随后，利用该流水线生成跨 12 种文化的测试数据，并邀请人工标注者对行为理解的细微差异进行标记，形成了一个包含文化维度的金标准数据集。
实验评估了 13 种开源和闭源 LLM。结果显示，加入文化情境后，同一行为的出现频率会出现显著波动。例如，基线实验在检测政治偏见时主要捕捉到美国保守‑进步的二元对立，而在非西方文化情境下则暴露出宗教冲突和殖民历史相关的偏见轴。
这些发现表明，传统的文化盲评估难以捕捉跨文化的行为转移，强调在全球化部署中引入文化情境化测试的必要性。
点评