部分可观测马尔可夫决策过程（POMDP）因历史依赖的长程诅咒而在强化学习中极具挑战。近期工作表明，满足滤波稳定性假设的一类 POMDP 可以用基于有限记忆窗口的截断历史构造的超状态马尔可夫决策过程（MDP）近似，其价值误差随窗口长度呈指数衰减。然而，已有的有限时间收敛分析要么仅适用于线性函数逼近，要么依赖 i.i.d. 采样 oracle，而后者在真实 POMDP 轨迹中并不成立，导致理论难以落地。
本文的主要贡献有三点：
- 首先给出有限状态 MDP 的点式近似误差界，量化了超状态 MDP 对原始 POMDP 的逼近精度，为后续算法设计提供基础。
- 在超状态转移上应用时序差分（TD）学习，直接逼近超状态 MDP 的 Bellman 固定点，并在神经网络值函数近似下证明了有限时间的 critic 误差上界。
- 将上述神经 critic 误差与策略镜像下降（policy mirror descent）框架结合，得到相对于最优 POMDP 值的有限时间次线性 regret 上界。这是首个基于神经网络函数逼近在有限记忆 POMDP 中实现的次线性 regret 结果。
数值实验进一步验证了理论误差界和 regret 收敛速度，与传统线性近似方法相比表现出更好的样本效率和稳健性。
点评：本文在理论上首次实现了基于神经网络的有限记忆 POMDP 的次线性后悔上界，填补了非线性函数逼近在部分可观测环境中的空白。