摘要
临床记录中包含了许多使患者寻求医疗的征兆和症状，但这些信息很少进入结构化字段。现有的提取方法要么依赖于不考虑上下文的规则，导致假阳性，要么依赖于需要大量微调的监督模型。我们提出了 Pythia，一个多智能体系统，能够自主编写和优化临床概念的提取提示，而无需手动提示工程或微调。Pythia 在本地托管的开放权重模型上运行，保持临床记录在本地基础设施中，并使用开发集的灵敏度和特异性选择提示。
我们将 Pythia 与一个经过策划的词汇表进行了比较，涵盖了来自 400 份临床记录中 72 种征兆和症状，代表 387 名患者。开发集（n=300）和验证集（n=100）是针对每个概念独立划分的。Pythia 的平均灵敏度为 0.76，特异性为 0.95，而词汇表的灵敏度和特异性分别为 0.82 和 0.76。在 62 个直接可比概念中，Pythia 在 20 个概念上达到了与词汇表相当或更高的指标。在 14 个词汇表标记每个记录为阳性的概念中，Pythia 通过要求存在时态、患者归属的发现，而非任何术语的文本提及，恢复了平均特异性 0.97。特异性在开发与验证之间的转移几乎没有降级，而灵敏度转移在低于 5% 流行率时减弱，低于 2% 流行率时达到平均差距 0.25。对于同一开发集，上述每个概念的 BERT 分类器微调后，获得的平均灵敏度为 0.23，并在流行率低于约 5% 时灵敏度降至零。这些发现表明，无需微调的自主提示优化可以有效产生症状提取提示，并能够在本地基础设施上进行有效部署。
博主点评： Pythia 系统的创新在于其完全自主的提示生成能力，避免了传统方法对人工微调的依赖。该研究不仅展示了其在临床症状提取中的实际应用潜力，还表明了在不同流行率条件下的灵敏度与特异性的稳定性，这对未来的医疗数据处理具有重要启示。该系统的成功应用有望降低医疗数据处理的复杂性，提高临床决策的效率。