在放射学领域，影像需求的增长速度远超放射科医师的扩张速度，报告积压问题无法仅通过培训和招聘来解决。最直接的机会在于减少放射科医师在制作报告上所花费的时间和精力，该任务涉及对影像的解读、临床历史和先前研究的整合，以及结构化结果的起草。
我们提出了Harrison.Rad 1.5（HR1.5），这是一种专门针对放射学的多模态大语言模型，能够接受交错的文本和视觉输入，并生成结构化和非结构化文本，涵盖普通放射影像，包括计算机放射影像、胸部、肌肉骨骼、腹部、脊柱、盆腔X光和乳腺摄影。
HR1.5通过三阶段管道进行训练：首先对基础语言模型进行放射学报告的领域适配，随后进行对比视觉编码器训练，使用约600万个影像-报告实例的基于课程的困难负样本，最后进行多轮对话的视觉问答微调。
我们采用了基于发现-诊断评分框架进行评估，该框架扩展了RadGraph-XL实体提取，结合本体基础的同义词匹配和极性-矛盾检测，并在RadBench上进行基准测试，该测试模拟FRCR 2B短案例考试，并依据Angoff方法的阈值进行评分。此外，HR1.5在封闭式临床问题的准确性上达到了最高水平，涵盖多个解剖区域，在内部多身体部位和乳腺摄影报告中表现优异，并在公共胸部报告的主要临床对齐评分中达到了最佳效果。
我们进一步研究了模型的可解释性和行为，包括针对问题的Grad-CAM热图、注意力分析和置信度估计，以支持未来向临床使用的负责任评估，并建立了一个临床基础的报告质量评估框架。
博主点评： HR1.5展现了多模态大语言模型在放射学领域的巨大潜力，通过自动化报告生成来减轻放射科医师的负担，极大提高了工作效率。其三阶段训练管道和先进的评估框架为临床应用奠定了坚实基础，未来有望推动放射学的智能化进程。