世界模型通过预测动作后果为序列决策提供前瞻,已在策略学习中展现出显著潜力。然而,推理反事实动作仍然困难,因为传统的预测目标往往忽视对动作质量评估至关重要的信息,而未执行的动作缺乏观测到的未来进行直接监督。
为克服上述瓶颈,本文提出 World Action Critic(WAC)模型。模型在每一步生成多个候选动作,并同时学习
- 候选条件下的未来状态预测;
- 对应的后果评价。
在 rollout 过程中,批评器(critic)的监督直接作用于中间预测表征,迫使其保留区分动作好坏所需的信息。已执行动作的观测未来用于监督其预测,而外部任务质量目标为反事实候选提供评价信号。通过联合优化,来自候选的批评信号能够渗透到预测表征中,而无需其真实未来。
理论分析表明,批评引导的特征保留能够降低信息损失,并给出候选选择的后悔上界 $R_T \le O(\sqrt{T})$。在自动驾驶任务上,WAC 在 NAVSIM‑v1 基准上取得 93.4 PDMS 的成绩,验证了联合学习预测前瞻与后果评估的有效性。
点评:WAC 通过将动作评价与未来预测紧耦合,成功弥补了传统世界模型在反事实推理上的缺陷,为高风险决策场景提供了更可靠的策略学习框架。