在患者使用 AI 辅助的精神科接诊系统之前，医疗机构需要一种实用的方法，能够在日常工作中将这些工具与临床标准进行对照，以实现质量保障。由于临床医生的接诊风格各异，评估方案必须满足三点要求：① 能够跨不同访谈方式进行比较；② 将医生的额外负担降至最低；③ 对部署该技术的健康系统提供临床相关的性能度量。我们基于记忆增强的患者模拟器 InterviewPlayground 构建了一个面向临床医生的评估平台。平台首先使用专家撰写的病例脚本在 InterviewPlayground 中生成交互式患者，然后搭建模拟接诊环境以承载开放式 AI 访谈，并设计了与接诊任务相匹配的评估模式。
在一次 25 分钟、6 位临床医生参与的试点中，AI 访谈者采用 GPT 系列大语言模型（LLM）进行接诊。结果显示，LLM 在患者脚本中嵌入的临床相关项目的召回率为 88.0%，显著高于医生的 38.9%；但 LLM 产生的基于访谈之外的临床推断比例为 56.8%，高于医生的 27.8%；在识别安全风险方面，医生标记的比例为 66.7%，而 LLM 仅为 33.3%。这些发现为该任务的实际部署提供了质量保障的基线。
点评