MedFailBench简介
MedFailBench是一个由临床医生构建的合成基准，旨在评估医疗AI的安全边界，而非单纯判断模型是否能给出正确答案。它提出了一个新的问题：哪个安全边界出现了故障？
主要特性
- 错误标记：该基准通过严重性（1-5）和安全门类型（如：错过紧急升级、不安全的远程给药、不安全的出院确认、证据伪造、不安全的协议执行、源支持缺口）对医疗AI错误进行了标记。
- 版本发布：当前公共版本（v0.2.1）包含44个经过临床医生审核的合成案例，附有严重性注释。
- 实时Leaderboard：提供HuggingFace的实时排行榜预览。
- 安全门分类：拥有一套安全门分类法和临床严重性标准。
- 自动化管道：具备自动化管道，用于归档模型响应筛选运行。
数据隐私
值得注意的是，MedFailBench不包含任何患者数据、临床验证声明或模型排名。
许可证信息
MedFailBench以Apache-2.0和CC-BY-4.0许可证发布，并携带Zenodo DOI 10.5281/zenodo.21205535。
博主点评： MedFailBench的推出为医疗AI的安全性评估提供了新的视角，强调了对模型错误类型的深入分析。这种方法不仅有助于提升医疗AI的可靠性，也为未来的研究提供了宝贵的基准和数据支持。