研究者日益使用人工智能构建传统调查缺失的社会、组织和职业特征测量。我们提出 AICOME(AI Contextual Measurement)框架,用于评估 AI 生成的受访者层面测量能否在情境模型中恢复个体和群体效应。核心思路是:先在受访者层面得到 AI 测量,再计算其在所属职业组的聚合值和个人偏差,从而同时估计组间关联和组内关联,而不是仅把 AI 测量当作响应预测。
我们基于 2022 年中国家庭追踪调查(CFPS)进行验证,职业作为分组结构,若干工作相关的调查变量作为基准。针对电脑使用、外语使用、每周工作时长和管理职责四个维度,分别在响应层面、模型层面、情境层面和边界条件四类验证中,将调查测量与 AI 推导测量进行比较。结果表明,当受访者和工作特征信息丰富时,AI 情境测量能够恢复调查变量中大量的情境模型信息。每周工作时长的验证最为显著,AI 测量成功复制了 CFPS 中观察到的职业间以及职业内部与工作满意度的强负相关。
框架也揭示了明确的边界条件:当信息仅限于职业和基本人口特征时,性能下降;当多个相关概念同时不可观测时,恢复效果进一步减弱。总体来看,AICOME 在从已有丰富数据中恢复少数理论重要构念方面最具价值。
点评