Span 级别的掩码语言模型（MLM）相较于传统的单词掩码在预训练中表现更佳，因为实体、短语及其依赖关系对语言理解至关重要。已有工作主要关注掩码跨度的长度，并使用离散分布来抽样，但对跨度之间的相对位置假设为均匀分布，忽略了位置依赖。POSPAN 提出了一套通用框架，通过组合 跨度长度分布 与 位置约束分布 来实现多样化的位置约束跨度掩码策略，能够统一现有的所有 span‑level 掩码方法。实验在多个 NLU 基准数据集上进行评估，结果显示加入位置约束后，span‑level 掩码的效果普遍提升，最佳 POSPAN 配置始终优于仅使用长度分布的对照以及原始的 MLM。进一步的理论分析表明，位置约束能够增加掩码的覆盖率与信息密度，从而解释了 POSPAN 的优势，验证了其合理性与必要性。
点评