[AI学术] 超越时间邻近性：用于强化学习信用分配的解释性世界模型

生成式推荐系统正日益采用强化学习（RL）来优化那些在决策后数百甚至数千次交互才显现的结果。传统 RL 依据时间邻近性传播奖励，而非基于实际关联，这会削弱对远程但关键动作的信号，导致样本效率低下。

我们提出 解释性世界模型（Explanatory World Models，EWM），一种基于解释的归因框架，用以识别可能促成已实现结果的早期事件。EWM 通过前沿语言模型生成解释，并利用保守的层次化算子递归地重新分配奖励，同时保持未折扣的回合总回报不变。

为探讨何为有用解释，我们实现了三种互补变体：

• 基于 Halpern 的实际因果关系；
• 受 Lombrozo 启发的解释简洁性；
• 参考 Deutsch 的难以变化解释。

我们在两个受控长时程 RL 基准（Crafter 与 WordCraft）、一个公开的序列推荐基准（KuaiRand）以及一个工业规模的生成式推荐系统上评估 EWM。实验结果显示：

• 在 Crafter 与 WordCraft 上，EWM 明显超越 PPO 与 LaRe，尤其在奖励延迟最严重的情形下提升最大；
• 在 KuaiRand 上，EWM 离线优于 SFT 与 LaRe，在线优于 A2C；
• 在工业生成式推荐的离线评估中，EWM 大幅提升 Recall 并增加行为代理指标。

这些发现表明，解释能够为学习延迟结果提供结构化且可复用的信用分配信号。

点评