摘要
大型语言模型（LLMs）在孤立的精神科任务上表现优异，包括对话、诊断和治疗计划。然而，现有的基准测试很少模拟完整的精神科临床接触。
我们介绍了 MentalHospital，一个用于基于LLM的精神科临床接触的虚拟评估环境。MentalHospital 实现了主观访谈、客观检查、诊断评估和治疗计划（S.O.A.P.）工作流程，利用来自1193个去标识化精神病电子健康记录（EHR）案例构建的技能增强标准化患者，涵盖所有主要ICD-11分类和76种疾病。
每次接触通过双轨协议进行评估，该协议结合了与EHR派生参考的客观比较和临床过程质量的主观评估。为了扩大专业判断，我们开发了 MentalEval，涵盖沟通同理心、访谈专业性、临床笔记质量、诊断严谨性和治疗适当性的五个领域特定评估者，采用基于评分标准的SFT和专家指导的DPO进行训练。
来自22名临床医生的调查反馈支持MentalHospital的临床真实度（3.88/5），而MentalEval在专家一致性方面表现强劲，平均QWK为0.944。基准测试显示，即使是最强的LLM在客观精神科能力上仍落后于临床医生37.28个百分点，其中精神状态评估是一个关键瓶颈。
博主点评： MentalHospital的推出标志着精神科评估领域的重要进展，通过模拟真实的临床接触，填补了LLM在精神健康应用中的实际应用空白。其双轨评估机制和领域特定评估者的开发，为未来的研究提供了坚实基础，助力提升精神科的诊断和治疗质量。