在大规模金融场景中,对每个用户的交易历史进行 LLM 推理会导致推理预算随用户数量线性增长,成本难以承受。我们将属性推断的粒度从单用户转向交易模式,构建了一个三阶段流水线:
- Resolve:解析抽象商品名称,可选地进行网络 grounding;
- Profile:对每个高频交易模式调用一次 LLM,输出预定义的类别标签、自由文本属性以及每个属性的出现率估计;
- Tag:将自由文本属性聚类,形成可查询的数据库。
因为推理在模式层面而非用户层面进行,预算随模式数量而非用户数量增长。我们在公开的 Open e‑commerce 数据集上评估,得到的数据库在 AUC 上与直接读取每个用户完整历史的 LLM 无显著差异,且出现率估计在正负用户之间提供了判别信号。
该流水线已在一家日本大型银行落地,服务规模达数千万用户,相比传统的逐用户流水线,LLM 推理目标数量降低了约三个数量级。代码已开源于 https://github.com/CyberAgentAILab/profiling-agent-open-ecommerce。
点评:该方案通过模式级别的抽象显著削减了 LLM 推理成本,同时保持了属性推断的准确性,为金融机构的大规模用户画像提供了可行路径。