人类的社会感知是逐步进行的：在话语未完时就会推断意图，随后根据新出现的线索不断修正，并且会关注面部、手势或语调等特定信号来塑造社会意义。现有的多模态大语言模型基准大多评估完整情景下的最终答案，倾向于奖励事后识别社会意义，而非实时交互中所需的逐步感知。
受交互式整体感知原则的启发，我们提出 GesBench——一个以人为中心的基准，用于评估多模态模型在 cue 级别的社会感知能力。GesBench 采用累计的子句片段，测量模型何时形成对说话者意图和社会可供性的稳定解释；同时通过人类注视引导的扰动，检验模型判断是否依赖于人类关注的区域。
数据来源于 6000 多条脚本化和非脚本化对话的句子级片段，并为其中的代表子集提供了逐步判断和注视标注。实验在开放式和封闭式多模态模型上进行，结果显示明显的人机差距：人类能够提前形成预测并频繁修正，而模型往往在不同片段中犹豫或重复同一判断。GesBench 将评估焦点从“模型最终是否识别意义”转向“意义何时以及在何处被形成”。
代码已公开：https://anonymous.4open.science/status/GesBench-share-212C。
点评