随着 AI 访谈机器人在市场调研、公共投票、偏好获取和社会科学研究等场景中被广泛开发,如何评估它们的表现成为难点。机器人需要在多轮对话中根据受访者的行为动态调整提问策略,这使得传统的离线评估方法不足。
为了解决这一问题,我们构建了 InterviewPlayground——一个基于社会理论的受访者行为模型的仿真平台。平台通过模拟研究参与者的行为生成交互记录,并依据一套经过验证的指标生成 InterviewReportCard,用以量化 AI 访谈机器人的表现。
为了检验仿真评估的外部有效性,我们在真实环境中开展了 15 项定性研究,涉及 5 种 AI 访谈机器人、3 个访谈主题和 450 名人类受访者。将真实研究的 12 项指标与 InterviewPlayground 的对应指标进行皮尔逊相关分析,得到平均相关系数 0.86,表明仿真评估能够高度预测真实表现。与此同时,仿真交互复现了人类实验中观察到的关键行为模式,进一步验证了平台的可靠性。
综上,InterviewPlayground 为 AI 访谈机器人的性能评估提供了经实证验证的仿真手段,并为后续基于仿真的对话系统评估指明了研究路线。
点评