Q学习是强化学习（RL）中的基础算法，用于解决未知转移核的折扣马尔可夫决策过程（MDP）。深度Q网络（DQN）通过使用深度神经网络进行Q函数近似，扩展了Q学习，使其在更高维度的实际问题中适用。
对抗Q学习将Q函数分解为价值函数和优势函数，并联合学习这两个组成部分，从而提高学习效率。然而，对对抗Q学习的理论理解仍然有限。最近的研究开始分析表格形式的对抗Q学习，但现有的保证主要集中在正则化的形式上，纯表格更新的理解尚不完全。
本文通过增加对中心化表格分解的直接解释，进一步加强了这一分析方向，并为未正则化、未投影的常数步长递归建立了收敛保证。特别地，我们推导出确定性对抗Q学习的精确切换线性系统表示，并为采样随机版本提供了有限时间的期望误差界限。这项分析澄清了价值和优势更新如何在Q函数的动作共通（价值函数）和动作差异（优势函数）组件上发挥不同的增益作用。
博主点评： 本文为对抗Q学习的理论基础提供了重要补充，特别是在未正则化情况下的收敛性分析，为未来的研究指明了方向。通过明晰价值与优势更新的角色，本文的成果有助于提高对Q学习算法的理解和应用效率。