在缺乏外在奖励或任务监督的情况下,人类行为依赖于内在动机——驱动好奇心、创造力、游戏等智能关键因素的神经信号。内在动机在构建稳健的世界模型、实现泛化与适应方面发挥重要的发育作用。现有研究未系统阐明多种内在动机如何与世界模型表征学习交互以支持下游控制,导致我们难以判断哪些内在收集的经验能够生成可复用的模型。为填补这一空白,我们将 24 种内在目标(涵盖好奇心、熵、能力等已知方法及其显式变体)统一嵌入模型化强化学习框架,并在运动、操作和开放式游戏环境中通过零样本、少样本和多任务控制评估其构建的世界模型。我们采用三种表征学习策略:观测重建、潜在预测和冗余约束。实验表明,好奇心驱动的探索配合观测重建能够获得最强的整体表现,尽管最佳的具体配对随实验而异。在组合视觉任务中,基于情景和终身新颖性的内在动机——为世界模型的通用循环状态提供互补记忆——实现了最佳的零样本迁移和少样本适应。这些结果鼓励将内在动机与表征学习共同设计。我们的工作展示了世界模型是衡量内在动机经验质量的有力工具,并将内在动机定位为自主构建世界模型的关键因素。
点评:本文系统整合多种内在动机并通过统一实验框架验证其对世界模型学习的影响,为未来的自主学习系统提供了明确的设计方向。