自动化评估临床人工智能输出是必要的,但大语言模型(LLM)评审成本高、响应慢。我们将返回结构化判断的决策语言模型 Jev 与前沿及开源权重的 LLM 评审在四个场景中进行比较。
在 118 条儿科答案上,Jev 与医生的序数质量评分一致性 Gwet\'s AC2 为 0.50(期望 0.53),超过 12 种 LLM 评审中的七种,包括前沿模型 Claude Opus 5.5(0.49)和 GPT‑6(0.38)。
在医生给出的二元 HealthBench 标准上,Jev 的表现不逊于六种 LLM 评审中的四种。
在 MedHELM 的开放式任务中,Jev 与三模型陪审团的协议度接近或超过陪审团内部的一致性。
在 HealthBench Professional 基准上,Jev 在 91% 的指标上与参考评审 GPT‑5.4 相匹配,其他评审的匹配率为 91‑93%。
成本方面,前沿评审的费用是 Jev 的 73‑294 倍,耗时是其 7‑57 倍。
综上,Jev 有望在大规模临床 AI 评估中提供高效、低成本的解决方案。
点评