大型语言模型的认知能力通常通过把行为范式转化为文字提示来评估，这种做法忽略了人类参与者在实验中实际使用的视觉界面和时间压力。与此同时，AI 智能体已经能够在网络上完成行为任务并生成类似人类的数据，这引发了社会科学和行为科学在线数据集可能被污染的担忧。
我们推出 CogArena，它收录了来自社会与行为科学的十个实验范式。智能体通过标准网页浏览器完成实验，使用与在线参与者相同的视觉刺激和响应界面。评分体系分为三层：首先判断智能体是否完成任务；其次评估其执行的准确性；最后检验其数据是否呈现出每个范式在人类中可靠出现的行为特征。
在四种多模态模型上进行实验，每个任务运行十次。结果显示，完成实验与再现行为特征是两件不同的事。许多会话未能完成实验，而完成的会话在某些特征上能够可靠复现，另一些则完全没有体现。
CogArena 提供完整的任务集合、评分代码以及公开排行榜，供后续研究者提交新模型的结果。
点评