在生成推荐(GR)中,大语言模型(LLMs)正日益被视为核心支撑,承诺利用预训练的世界知识。然而,如何可靠地调用这些知识仍然是一个未解之谜。关键障碍在于,LLM驱动的GR通常使用语义ID(SIDs)来表示项目,这破坏了LLMs自然语言推理的接口,因为这些令牌在预训练期间是未见的。现有的方法通过昂贵的多阶段管道来解决这一问题,旨在将SIDs与显式推理结合,但对于每个阶段何时及为何必要的理解有限。
本研究系统性地分解了LLM驱动的GR的显式推理训练管道,揭示了三个主要限制:世界知识的语言表达能力减弱,SID与自然语言令牌嵌入空间的不对齐,以及对推理质量的敏感性,这些都影响了显式推理的性能。为了解决这些问题,我们提出了PauseRec,一种专为GR量身定制的轻量级隐式推理范式。
PauseRec在实用性上表现卓越,避免了高成本的推理轨迹获取和推理对齐训练,带来了多重好处:(1) 它的性能比标准显式链式推理方法提高了最多6.22%;(2) 训练成本降低了最多65%的GPU小时;(3) 推理速度提高了最多71.3%。这些结果使PauseRec成为显式推理生成的轻量级替代方案,从而实现更有效和高效的LLM驱动生成推荐。
博主点评: PauseRec的提出为大语言模型在生成推荐领域的应用带来了新的可能性,其显著的性能提升与成本节约,展示了隐式推理的强大潜力。随着技术的不断进步,未来的推荐系统将更加智能和高效。