MedConstBench 是一个围绕贝娅姆普四大医学伦理原则构建的医学伦理基准。它把模型部署时的宪章视为可控变量,并通过多人模型同行评审进行人类校准评分。基准包含我们自行构建的临床困境数据集 MedDilemma,能够系统分析宪章如何引导 LLM 的伦理行为。
我们在四种不同宪章下评估了十个开源 LLM,结果表明宪章的影响具有维度选择性且依赖模型,没有任何一种宪章在所有模型上都最优。
基于此,我们提出了“勿伤害”自适应选择器,根据模型选择最合适的宪章,能够在匹配每模型最佳宪章的同时保证最差情况的下限,并且以低成本推广到未见模型。
点评:本基准揭示了宪章在医学伦理中的细粒度作用,为安全部署提供了实用的自适应方案。