大规模行为预训练为在线支付系统提供了通用表示的可能。卡号、设备号、账户 ID 等高基数身份字段蕴含丰富行为信号，却因词表不断扩张且语义信息有限，传统的词表或语义编码难以利用。其可迁移的价值在于这些身份在交易序列中呈现的行为模式，而非具体取值。基于此，本文提出 ID2Pattern 框架，将身份行为模式引入交易基础模型。首先，使用 Local Anonymous ID (LAID) 分词器对身份字段进行编码，记录每个身份在序列中的出现次数和重复位置，完全脱离具体数值。随后，在无标签序列上预训练多尺度模式码本，将 LAID 序列抽象为离散的行为模式，供下游风险预测使用。实验在超过 1 亿条工业序列和六个公开数据集上进行，ID2Pattern 相比强基线在工业数据上提升 4.13%，在公开数据上平均提升 8.83%。更重要的是，即使所有身份值在训练时均未出现，模型仍保持相同效果，展示了对新用户和新市场的良好泛化能力。
点评：ID2Pattern 通过匿名化的序列建模突破了高基数身份的稀疏瓶颈，为交易风险模型提供了更稳健的跨域迁移能力。