摘要
为了公平地与用户互动并避免刻板印象，AI 模型必须展示文化能力，即能够推断并适应用户隐性传达的文化价值观，而不是依赖静态的人口特征。我们引入了 CCBENCH，一个用于评估大型语言模型（LLMs）文化能力的框架，将文化视为规范遵循状态的连续体，而不是文化归属的二元状态。
作为健康领域的案例研究，我们创建了 CCBENCH-Health，其中包含 60 个理论基础的人物角色，展示了六种文化下不同的规范遵循状态，每个角色参与 18 次现实对话。每个人物角色在 52 个真实用户论坛中提取的健康问题上进行评估，共产生 3,120 种独特互动。对五个领先模型的基准测试表明，即使是表现最好的模型，其文化适应性响应率也仅为 20-30%。当明确提示模型关注对话历史中的文化相关线索（CoT）时，性能平均提高了 3-5%。
我们发现，当人物角色避免遵循文化规范时，模型的表现最好而不是遵循这些规范，这揭示了一种持续的不对称性，表明模型更倾向于与内置偏见对齐，而不是适应文化线索。特别是在阿富汗背景下（平均：8.8%），文化线索很少提供适当的健康建议。最后，我们发现模型有时对隐性文化对话风格的适应能力超过了对明确文化实践的适应能力，尽管这一现象在不同文化间存在差异。
博主点评： 该研究揭示了大型语言模型在文化适应性方面的不足，强调了在设计 AI 系统时，必须关注文化背景对用户交互的影响。未来的模型需要更深入地理解和整合隐性文化信号，以提升其在多元文化环境中的表现。