随着大型语言模型（LLMs）在在线医疗咨询中的广泛应用，现有基准测试与真实临床实践的对齐程度较低。许多现有基准依赖于合成对话或患者模拟器，忽略了患者上传的医学图像，或使用多选题或词汇重叠指标来评估开放式临床反应，这些方法无法有效反映临床质量。
我们推出了 MedRealMM，这是一个基于从全国性中国互联网医院收集的去标识化患者-医生互动构建的大规模多模态基准。MedRealMM利用多模态临床挑战点（MCCP）提取框架，识别真实咨询轨迹中的临床需求时刻，并将每个时刻转换为标准化的下一步反应生成任务，同时保留前文的文本-图像上下文。
每个实例都配有由医生精炼的特定案例评分标准，奖励临床上可取的行为，惩罚不安全、缺乏支持或矛盾的反应。当前版本包含5,620个真实世界多模态案例，涵盖64个临床科室。我们评估了19种通用和医学专用的LLMs，包括文本-only和多模态系统。我们的结果表明，图像信息对可靠的临床表现至关重要，而当前的前沿模型仍低于在线医生的反应。
尽管一些前沿模型满足的积极临床标准与医生相当或更多，但它们触发的负面标准更多，这表明避免安全敏感错误仍然是一个核心瓶颈。MedRealMM提供了一个现实且可重复的基准，用于评估真实在线咨询中的多模态医学推理。该数据集将在 Hugging Face 上公开，地址为 Hugging Face。
博主点评： MedRealMM的推出为在线医疗咨询提供了更切实可行的评估工具，尤其是在多模态信息处理上。虽然当前模型在某些指标上表现良好，但安全性问题仍需重视。未来的研究可朝着更高效的错误避免机制发展。