NeFut Logo NeFut
EN 管理员登录

[AI学术] 轻量知识注入框架:实现 LLMs 的零-shot 精神错乱预测

发布于:2026-07-25 22:00 最后更新:2026-07-26 07:44
#AI #Machine Learning #DeepSeek

摘要

大型语言模型在临床预测中展现出潜力,但在特定任务上的零-shot 性能受到领域知识不足的限制,尤其是对于较小的本地可部署模型。我们提出了一种轻量知识注入框架,用于零-shot ICU 精神错乱预测,该框架在推理时通过外部临床知识报告增强结构化电子健康记录数据的确定性自然语言摘要,而无需进行微调或检索。

实验评估

我们在 MIMIC IV 数据集上评估了 LLaMA 3.1 8B 和 LLaMA 3.3 70B 模型,使用了 3,160 例 ICU 入院数据。添加一个临床上有意义的外部知识报告使 8B 模型的 AUROC 提高了 8.57 个百分点,而 70B 模型提高了 1.99 个百分点,相比于没有外部知识的情况。与没有外部知识报告的 GPT-5.2 最前沿模型(AUROC 68.86%)相比,知识注入将 LLaMA 8B 的性能差距从 15.66 降至 7.09 AUROC 点,而 LLaMA 70B 的差距则从 5.30 降至 3.31 AUROC 点。

随机控制报告并未改善性能,且常常导致性能下降,这表明提升依赖于临床上有意义的内容,而非仅仅是增加提示长度。基于 SHAP 的归因进一步确认了注入知识在预测过程中被积极使用。这些发现表明,在推理时进行知识注入可以缩小本地可部署的开放权重模型与最前沿闭合模型之间的差距,同时保持适用于资源受限临床环境的实用、隐私保护的工作流程。

博主点评: 该研究展示了通过知识注入提升 LLMs 在特定临床任务中的性能,尤其是在资源有限的环境中,具有重要的实际应用价值。通过对比实验,验证了外部知识对提高预测准确性的关键作用,值得在其他医疗领域进行进一步探索和应用。

原文链接: https://arxiv.org/abs/2607.20453

[h] 返回首页