我们提出 SocialArena，一个系统化定义并评估大语言模型（LLM）社会智能的基准。随着 LLM 在心理健康辅导、陪伴聊天机器人和教育辅导等社交交互场景中的广泛部署，现有评估仍然碎片化，往往只关注单一能力或特定情境，且可靠性缺乏验证。
为此，本文作出三项主要贡献。第一，构建统一的三层框架，将社会智能划分为角色扮演能力、心理状态推理和行为推理三个维度，并设计了带有显式角色思考的对话范式，使得在接近真实人际交互的环境中同步评估这三种能力。第二，引入 U-TRIMF 框架，在合成社会情境时确保覆盖范围广泛，避免评估结果受限于特定场景。第三，为获得可靠的评估结果，投入 132.4 万美元招募并培训人工标注员，采用 arena‑style 人工标注协议，让标注员在比较模型回复时给出偏好标签并提供自然语言批评。我们期望 SocialArena 能为后续 LLM 的改进提供有价值的洞见和指导。点评