我们提出了 PRISM（Population‑Retrieved Inference for Structured Multimodal Prognosis），一种面向临床预后的多模态语言模型。模型在特征层面采用数值化标记，将每个结构化测量转化为离散 token；对长期心电图（ECG）使用基于时间衰减的加权聚合，以捕获最新的生理信息；并构建了双模态人口记忆库，分别存储结构化特征和波形的嵌入向量。检索过程在表示空间进行：模型接收与当前患者最相似的训练队列记录的均值池化嵌入，而不将任何单独记录直接写入提示。
在 MDS‑ED 1,443 任务基准上，PRISM 在诊断、恶化、ICU 入院和死亡四项指标上分别取得 AUROC 86.2%、93.1%、91.8% 和 92.8%。这些结果使用了 96 小时的预入院窗口，而该窗口在已有基线中未被利用。仅使用基准窗口输入时，PRISM 获得 0.8895 的 AUROC，略低于 UniPACT（0.8937）但高于原 MDS‑ED（0.8889）。
对比实验显示：使用相同五路证据流且冻结编码器的紧凑融合模型 AUROC 为 0.7652，远低于 PRISM 的 0.9092。将数值化 EHR 编码替换为文本序列化会导致 AUROC 下降 3.66 点；去除预入院历史降低 1.97 点；将检索向量全部置零则下降 0.99 点。真实检索相较于随机邻居检索提升了 0.97 的宏平均分，但配对任务层的符号检验未达到显著性（p=0.067）。
在外部 MC‑MED 队列上进行监督微调后，PRISM 的 AUROC 达到 0.8611，优于本地训练的梯度提升模型（0.8227）和仅使用源模型的 PRISM（0.7841），验证了结构感知的多模态融合和监督外部适配的有效性。
点评