在大规模推荐系统中，由于庞大的密集嵌入表，面临着“内存墙”瓶颈。尽管生成检索使用离散令牌作为ID，但高维上下文仍依赖低效的密集格式。受到计算机视觉数据压缩的启发，我们提出了双用途语义ID，以实现LLM级别的I/O效率。
我们的方法论采用层次化量化，将连续嵌入压缩为离散的语义ID，执行两个并发角色：
- 协作身份：通过可学习的嵌入表建模用户与项目之间的交互；
- 内容重构：使用轻量级的语义解码器进行即时嵌入近似。
这种方法用按需重构替代了庞大的向量存储，从而减少系统开销和数据足迹。我们通过离线评估和在主要视频分享平台的生产级排名和检索系统中的成功在线部署，展示了我们框架的有效性，证明离散令牌确实是实现高效、内容丰富推荐的关键。
博主点评： 双用途语义ID的提出不仅解决了传统推荐系统的内存瓶颈问题，还通过高效的数据管理方式提升了用户体验。这一创新方法值得在更多领域进行探索与应用。