摘要
在不规则临床时间序列（ICTS）上进行问答（QA）在众多医疗应用中扮演着关键角色。尽管近期的多模态时间序列大语言模型（LLMs）在通用时间序列问答中展现出相当大的潜力，但它们在建模临床观察的稀疏性、异步性和不规则采样模式方面仍显不足。为了解决这一问题，我们提出了ClinPRISM，一个经济高效的多模态LLM推理框架，用于ICTS数据的问答。
首先，我们设计了一种不规则性感知的多尺度编码器，以捕捉不同时间尺度上的稀疏临床证据。接着，我们提出了一种时间证据提炼器，以整合这些尺度上的表示，并将其压缩为少量与LLM兼容的令牌。此外，我们引入了一种渐进对齐策略，依次将不规则轨迹与LLM的文本嵌入空间对齐。
为了便于训练，我们构建了30,000个临床时间序列，配以多尺度描述，以及41,000个涵盖11个任务的指令调优实例。利用一个拥有40亿参数的LLM骨干，ClinPRISM在保持的评估基准上实现了最先进的性能，仅使用16个时间序列令牌，并且每个问题的平均推理延迟为0.15秒。
博主点评： ClinPRISM通过引入多尺度编码和时间证据提炼策略，成功地解决了临床时间序列问答中的稀疏性和不规则性问题。其高效的推理速度和出色的性能表明了多模态LLM在医疗领域的广泛应用潜力。