NeFut Logo NeFut
EN 管理员登录

[AI学术] 决策语言模型:临床生成式AI评估的经济快速替代方案

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#Machine Learning #LLM #Artificial Intelligence

自动化评估临床人工智能输出是必要的,但大语言模型(LLM)评审成本高、响应慢。我们将返回结构化判断的决策语言模型 Jev 与前沿及开源权重的 LLM 评审在四个场景中进行比较。

在 118 条儿科答案上,Jev 与医生的序数质量评分一致性 Gwet\'s AC2 为 0.50(期望 0.53),超过 12 种 LLM 评审中的七种,包括前沿模型 Claude Opus 5.5(0.49)和 GPT‑6(0.38)。

在医生给出的二元 HealthBench 标准上,Jev 的表现不逊于六种 LLM 评审中的四种。

在 MedHELM 的开放式任务中,Jev 与三模型陪审团的协议度接近或超过陪审团内部的一致性。

在 HealthBench Professional 基准上,Jev 在 91% 的指标上与参考评审 GPT‑5.4 相匹配,其他评审的匹配率为 91‑93%。

成本方面,前沿评审的费用是 Jev 的 73‑294 倍,耗时是其 7‑57 倍。

综上,Jev 有望在大规模临床 AI 评估中提供高效、低成本的解决方案。

点评

原文链接: https://arxiv.org/abs/2610.28826

[h] 返回首页