可信的生物医学AI需要在证据缺失、过时、冲突或延迟时做出可靠的行动选择,而不仅是对静态输入给出准确答案。
本文构建了一个基于400个合成医疗工作流情景的评估协议,每个情景由40个人工语义种子覆盖四类任务,分别在两种表面参数化和五种受控变体下生成,模型输出被划分为ANSWER、ASK CLARIFICATION、ABSTAIN、ESCALATE四类,并依据预先声明的5:1“漏报‑误报”升级成本进行打分。参考动作采用单作者的研究政策标签,而非临床专家的真值。
在五种开源权重配置(1.7B‑9.7B)中,干净情景下的决策准确率可达0.97,但在需要不确定性提示的情景中,模型漏报必需升级的比例在32%‑97%之间。规模最大的9.7B模型在冲突情景下的准确率从0.97下降至0.78,仍存在显著差距。
模型的口头置信度不稳定,校准误差(ECE)在0.10‑0.54之间,失败检测的AUROC在0.48‑0.77之间,仅使用置信度进行的策略在开发集上未能提升效用。
引入透明的工作流感知控制器后,所有模型在5:1效用下均得到提升,漏报率降至0.12‑0.24,特异度保持在0.83‑0.93。但在30概念词汇压力测试中,每个规则检测器对未见同义改写的召回率从1.00跌至0.00,说明控制器的有效性仅限于本基准。
论文提供了基于种子聚类的统计数据、消融实验、跨任务迁移结果、原始输出和清单,以供审计使用。结果表明,需要显式评估工作流状态,并对看似有效的路由控制进行独立的泛化测试。
点评