现有基于大语言模型(LLM)的用户编码器将异构行为日志序列化,并通过自回归(AR)预测压缩为静态表征。单向约束导致信息流只能单向传播,限制了跨模态交互以及多源信号的联合保留。于是得到的静态表征难以满足不同下游场景对证据的差异化需求。
我们通过解锁扩散语言模型(dLLM)的迭代去噪过程,将其视为多粒度重建空间。基于此思路,提出 FINDERS(FactorIzatioN of Diffusion statEs for Routing across Scenarios),它是一个配备路由器的 dLLM 框架,包含四个操作:去噪、因子化、路由和压缩。可学习的 meta‑slot 将互补的去噪状态组织为可迁移的跨模态语义和模态特定的行为因子。
为提供有根基的监督,我们构建了 BehaviorQA 大规模语料库,内含明确的行为推理。场景查询驱动下,轻量路由器在输入层通过残差通路动态强化相关 slot 方向,然后进行跨源融合并最终压缩。
在十个工业场景的离线实验和线上 A/B 测试中,FINDERS 在统一设置和场景自适应设置下均显著超越最先进方法。该工作将 dLLM 的应用边界从语言生成拓展到强大的用户表征学习,展示了其巨大的潜力。
点评:FINDERS 通过扩散去噪状态实现了跨模态信息的双向流动,并利用可学习的路由机制实现了场景感知的表征压缩,为用户建模提供了更灵活、更高效的解决方案。