在这项研究中，我们介绍了LongMedBench，这是一个基于真实电子健康记录（EHR）的长效临床决策评估基准。以往对基于大语言模型（LLM）的医疗代理的评估主要集中在短期上下文知识问答和工具使用上。然而，真实的医疗护理本质上是纵向的，临床医生必须在多次就诊、测试和不断变化的治疗过程中整合证据。因此，长效交互对于现实评估至关重要。
LongMedBench通过一个可重复的管道构建，整合了MIMIC-IV入院记录和临床笔记，形成时间序列事件流和长上下文记忆数据集，使代理与临床环境之间能够进行长效的多会话交互。该基准包含335名患者，平均每位患者有19.72次住院就诊，平均每次就诊有44.91个医疗事件。
基于长效决策过程，我们提出了一个评估分类法，包括三个模块：基于事实的问答、时间推理和长效决策。该分类法衡量代理如何理解和利用历史患者信息以应对延续性的决策过程。
我们的实验表明，尽管最近的LLM能够很好地利用显式时间戳，但在隐式时间推理方面存在挑战；检索增强生成（RAG）和代理记忆系统可以改善信息检索任务的性能，但决策任务的表现高度依赖于模型的即时上下文。
博主点评： LongMedBench为医疗领域的长效决策提供了重要的基准，揭示了LLM在处理临床数据时的潜力与局限，尤其是在时间推理方面。这一评估框架的建立将推动医疗AI的进一步发展，值得关注和探索。