在这篇研究中，我们探讨了AlphaZero在稀疏奖励游戏中的表现，特别是在两个具有不同结构的领域：已解决的对抗游戏Connect Four和无偏见游戏Chomp。AlphaZero通过神经引导的蒙特卡洛树搜索（MCTS）实现了超人类的表现，但强大的游戏水平并不意味着完美的游戏策略。我们在一个统一的自我对弈加MCTS流程下，比较了标准的AlphaZero、限于Chomp的多帧变体，以及引入来自预言机的策略监督的AlphaZero辅助损失（AZAL）。
研究表明，标准的AlphaZero在两个领域都表现出色，但未能保持最佳游戏所需的精确轨迹。在Connect Four中，它未能维持最佳的游戏线路；而在Chomp中，它未能 consistently 恢复 $g=0$ 不变性。在矩形Chomp棋盘上，单靠多帧输入并不能消除这一差距。然而，AZAL显著提高了多种种子全局游戏轨迹和采样状态评估的预言机一致性。在Chomp中，AZAL在10x11棋盘上达到了完美的全局游戏预言机一致性，而在9x10棋盘上则达到了高但不完全的一致性；在Connect Four中，AZAL提高了预言机匹配率，并推迟了首次预言机错误，但仍未达到完美的游戏水平。
博主点评： 这项研究深入探讨了AlphaZero在复杂游戏环境中的局限性，并通过引入辅助监督机制显著提升了其策略的准确性。这不仅对强化学习领域有重要启示，也为未来的游戏AI研究指明了方向。