摘要
强化学习代理在不完全信息卡牌游戏中的表现，往往受限于其训练对手的强度。由于这些代理在与随机对手对战时胜率超过99%，且仅能与自身复制品平局，因此评估它们的能力变得困难。为了克服这一问题，我们构建了一个强大的、基于规则的专家系统用于《金拉米》游戏，仅作为评估基准，而不用于训练。
该专家系统以70%至99%的胜率击败我们训练的每个代理。在超过一百次的实验中，我们识别出使轻量级代理更强的因素：信任区更新、精准的奖励设定、更艰难对手的课程、热启动和保留最佳检查点等，组合使用这些因素将自我对战冠军的胜率从约30%提升至36%对抗专家。
然而，一些想法未能奏效：短期和长期的奖励塑形、学习状态嵌入、模仿学习与DAgger、以及一个实时的大型语言模型对手都表现得不够有效、速度过慢或过于庞大，无法进行大规模训练。对比多层感知机、卷积网络、基于集合的、注意力机制和递归编码器的性能显示，额外的容量并未显著突破性能瓶颈，表明限制在于信息而非网络规模。
我们添加了标准基线（神经虚构自我对战和信息集蒙特卡洛搜索），并确认该方法可推广至Leduc Hold'em游戏，其中最优解是可计算的。最终，我们提出了一种轻量级、游戏无关的配方，能够在不依赖专家训练的情况下，训练出竞争力代理，适用于任何小模型能够处理的游戏，并以可靠的统计数据报告，作为可重用包发布。
博主点评： 这项研究展示了如何在不依赖复杂模型的情况下，通过巧妙的策略和方法提升轻量级游戏代理的性能，强调了信息处理的重要性而非网络的规模，为未来的游戏AI开发提供了宝贵的经验和方向。