在部分可观测的强化学习（POMDP）中，常用递归网络来编码时间信息，并与策略或价值函数一起端到端训练。本文探讨是否必须对递归模块进行学习，还是可以使用冻结的递归网络提供足够的记忆。受 Reservoir Computing（RC）和 Generalized Reservoir Computing（GRC）理论启发，我们采用一种简洁架构：固定的递归网络作为特征提取器，后接可训练的非线性输出层。我们在记忆需求、观测方式和动作空间不同的任务上进行评估。实验发现，冻结的递归网络能够在数百步的时间跨度内保持信息，并在多种 POMDP 上实现与全可训练模型相当的控制性能，同时可训练参数数量不到后者的一半。结果表明，学习递归记忆模块并非解决 POMDP 的必需条件，冻结递归网络提供了一个简单、参数高效且意外强大的基线。代码已开源：https://github.com/Aphlios/FRN-POMDP
点评