真实世界的门诊肿瘤笔记包含专有术语、肿瘤分期表达、治疗名称、毒性描述以及机构特有的去标识标记，这些信息往往难以被通用的生物医学或临床语言模型有效捕获。我们基于英国一家医院的门诊肿瘤数据集（共 290,026 条笔记，涉及 21,564 名肺癌和头颈癌患者）开发并评估了肿瘤专属的 BERT‑style 编码器。比较对象包括公开的 RadBERT 与 PathologyBERT，以及两种本地策略：
- OncoNote‑RadBERT：在 RadBERT 基础上继续进行掩码语言模型（MLM）预训练；
- OncoNoteBERT：从零开始训练，使用专为肿瘤领域构建的 WordPiece 分词器。
模型评估指标包括验证集上的 MLM 损失与困惑度（perplexity）、分词碎片化度量、临床术语分词情况、掩码词探针（masked‑token probes）以及探索性表示分析。结果显示，外部模型在零样本评估中对肿瘤语料的适配度极差（RadBERT perplexity 为 113.04，PathologyBERT 为 2035.03），而继续预训练的 OncoNote‑RadBERT 达到最优的困惑度 2.10。OncoNoteBERT 的困惑度为 2.83，但在分词效率上表现最佳，子词丰度更低，归一化序列长度更短。掩码词探针实验中，OncoNoteBERT 能正确预测 13 条中的 12 条，而 OncoNote‑RadBERT 仅为 7 条。该差异部分源于分词碎片化而非语义学习本身。两种本地模型均将机构占位符编码为单一可学习的 token。研究表明，继续适配与定制分词各有优势，且在将相邻领域编码器迁移至肿瘤 NLP 前，表示层的设计至关重要。
点评