在电子健康记录中，临床叙述与结构化测量（如生命体征、实验室值和合并症）相结合。然而，大多数临床预测系统仍依赖于特定任务的融合架构，为每种模态配备专用编码器，并为每个新任务和临床场景重新设计组合机制。我们提出了一种更简单的替代方案：将所有患者数据（无论模态如何）转换为单一的自然语言序列，并对预训练语言模型进行端到端微调，而无需对融合架构进行修改。
我们在三个临床预测任务中评估了该方法：MIMIC-III上的院内死亡率、来自德国移植中心纵向数据的移植失败预测，以及来自救护车记录的紧急分诊分类。我们将基于编码器的微调（ModernBERT）与基于解码器的微调（Llama 3.1、Gemma、DeepSeek-R1-Qwen、Qwen3）与现有的多模态基线进行比较，并针对移植失败，评估目前用于临床实践的梯度提升模型。
在所有三个任务中，统一的文本序列化方法与特定任务的多模态基线相匹配或超越，并在移植失败预测上优于临床部署的梯度提升系统。这些结果表明，单一的序列化范式在没有定制融合架构的情况下，足以进行多模态临床预测，大大降低了系统复杂性，同时匹配或超越了专业设计的性能。
博主点评： 该研究通过将不同模态的数据统一为文本序列，展示了大型语言模型在临床预测中的强大能力。这一方法不仅简化了系统架构，还在多个任务中超过了传统的多模态模型，显示出其在医疗领域应用的潜力，值得进一步探索。