NeFut Logo NeFut
EN 管理员登录

[AI学术] SeqFold:可时间戳寻址的压缩用户状态接口

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#algorithm #AI #Machine Learning

现有的序列化用户建模方法大多聚焦于改进主干编码器或为单一预测目标学习任务专用的用户表征。本文转向一种不同的设想:将已冻结的、拥有长历史的主干网络的多层用户状态导出为紧凑、可按时间戳寻址的表示,以供下游训练填充和在线服务使用。\n\n在该设定下,某一时间戳的用户状态只需概括该时刻之前的所有行为,因而下游系统只需读取与目标时间戳对齐的状态,而无需遍历完整的隐藏状态序列。为实现这一目标,我们提出 SeqFold,它通过三大技术组合实现压缩:\n1. 学习式多通道融合,将不同层的特征映射到统一的多维空间;\n2. 通道特定的时间衰减,使得更早的行为对当前状态的贡献自然减弱;\n3. Lookup‑Free Quantization (LFQ),直接将融合后的连续向量量化为离散码。\n\n下游任务使用专用解码器将共享的离散码映射回灵活的嵌入空间,从而保持模型表达能力。为在大规模场景下实现时间戳可寻址的导出,我们进一步设计了 融合流式实现:在每一次用户行为后更新融合递归,但仅在预定义的目标时间戳处实际生成并存储状态。\n\n在数个大规模私有数据集上的实验表明,SeqFold 将每个状态的存储需求降低至原来的 $3{,}400\times$,同时几乎保留了未压缩模型的下游排序性能。结果证明,SeqFold 是复用长历史序列主干于下游模型的高效接口。\n\n点评:SeqFold 通过结构化的融合与量化,将原本庞大的时间序列状态压缩至可管理的离散码,实现了存储与推理的双重突破,为实际工业系统中的用户行为建模提供了可落地的解决方案。

原文链接: https://arxiv.org/abs/2611.13704

[h] 返回首页