高质量的人类翻译平行语料能提升跨语言迁移，但规模通常不足以支撑大规模预训练。机器翻译的网页语料可以在预训练层面提供足量平行数据。
标准的多语言预训练（SPT）在采样时把源文档和译文独立抽取，未显式利用它们的平行结构。本文提出并实验了平行预训练（PPT），即在同一训练序列中将文档与其翻译拼接。
在相同的 token 预算下，分别用 PPT 和 SPT 从零训练模型。实验发现，尽管平行数据在跨语言任务中已有正面效果，单纯的 PPT 并未在一般语言理解上系统性超越 SPT。
进一步分析表明，PPT 能更好地共享跨语言信息，构建了强大的跨语言基础；但训练时的平行上下文与下游单语言任务输入不匹配，限制了其在通用理解上的收益。
基于此，提出两阶段方案：先用 PPT 建立跨语言基础，再用 SPT 继续预训练以适配标准语言模型。该方案在高资源和低资源设置下，都在相同训练预算下显著提升了通用语言理解和跨语言任务表现。
点评