在本文中,我们从外部评估一个结构化的多智能体世界模型,覆盖完整的十英雄 MOBA(共 206 个单位,每个英雄每帧行动,最长 6000 帧)。我们仅在模型内部使用 1400 帧的自由想象回合训练策略,然后在真实游戏中对抗官方对手进行评估。真实游戏不提供梯度,只提供策略自身的对局数据用于训练世界模型,并通过在线评估对策略进行锚定。通过持续的异步 Dyna 循环,策略在从未用于决策的种子上以 70.2% 的胜率(421/600,95% CI 66.4‑73.7)作为光辉方获胜,而在暗影方全败,官方对手自玩时也全败。四个关键发现解释了结果:① 梦境内部的模型利用不可见,未锚定的运行在几次更新后即崩溃但没有内部指标捕捉;② 在训练语料上准确的模型在策略自身对局上严重错误,Dyna 在此修复提升了约 9.2% 的真实胜率;③ 策略逐机制继承模型的保真度,模型能捕捉宏观局面但不擅长控制、施法时机或致命度,策略因此通过全图压力而非协同作战取胜。我们公开了世界模型、dream‑PPO 框架、模型调试器、评估协议以及所有策略和日志。
点评: 该工作展示了外部评估与持续 Dyna 循环的强大协同,使得仅在想象中训练的策略能够在复杂的多人对战中实现显著胜率,提供了可复现的基准和工具。