摘要
当前用于评估大型语言模型（LLMs）在医疗计算中的基准主要基于简化的设置，其中每个患者案例对应于单一计算器，所需工具在查询中明确指定。然而，实际临床场景往往需要多个计算器进行联合评估、嵌套规模计算及模糊查询，这些查询并不直接指定目标计算器。为此，我们提出了一个新的医疗计算基准，MedCalc-Pro，涵盖了三种逐步挑战的任务设置：单计算器、多计算器和嵌套计算器计算设置。
MedCalc-Pro 包含 2,268 个真实世界的临床案例，覆盖 77 种医疗计算器，涉及 14 个临床科室。同时，为了解决现有框架和方法在复杂临床场景中的性能限制，我们进一步提出了一种更具普遍性的代理框架，支持多工具选择和嵌套工具调用，同时通过结构化验证和证据审查抑制参数错误传播。我们对开源、闭源和医疗专业化的 LLM 进行了系统比较，结果表明我们的框架在所有三种任务设置中均实现了最佳性能。本研究为在具有挑战性的医疗计算场景中评估和应用 LLM 提供了新的基准和方法。
博主点评： 本文提出的 MedCalc-Pro 基准为医疗计算的复杂性提供了有效解决方案，特别是在多工具交互的场景中。其代理框架的设计理念值得关注，能够有效抑制错误传播，为医疗领域的 AI 应用提供了新的思路和前景。