摘要
大型语言模型在医学知识评估中取得了高分,但临床推理需要在不确定性下主动决定调查内容。我们开发了一种在血液肿瘤学中的代理评估框架,模型必须在提交诊断和治疗计划之前,主动请求临床数据,分为三个连续轮次。在32个前沿模型中,表现最佳的模型仅达到了68%的整体准确率。信息利用率,即实际请求的可用数据比例,是诊断准确性的最强预测因子(R = 0.69,P < 0.01)。
博主点评: 此研究揭示了大型语言模型在需要主动信息寻求的临床环境中的局限性,强调了模型在不确定性下的决策能力不足。尽管它们在知识评估中表现良好,但在实际应用中仍需加强主动获取信息的能力。