生物神经回路既呈模块化又具循环特性，密集的社区内部连接紧密，而社区之间的连线稀疏。现有用于强化学习的脉冲神经网络（SNN）大多是前馈结构，尚不清楚如何在循环 SNN 中形成功能模块以及这些模块的作用。本文提出了一类称为 Community Recurrent SNN（CoRe SNN）的网络：网络被划分为若干社区，每个社区承担固定角色。控制社区负责接收刺激，针对每个动作设立独立社区，潜在社区保存内部状态。脉冲活动在社区之间游走，最终落入的社区决定所选动作。所有学习均采用局部三因子规则，循环社区的结构更接近皮层微回路，而非传统的前馈 actor。我们比较了三种获得社区结构的方式：动态模块化——引入一种新学习规则 Map‑STDP，在学习过程中鼓励模块形成；部分模块化——使用随机块模型（SBM）初始化部分强制模块；完整模块化——通过封闭社区完全强制模块。实验在 CartPole 环境下使用三种脉冲神经元模型进行。结果表明，Map‑STDP 能提升学习效果，且在两种模型上的表现与完整模块化相当，同时使观察到的脉冲游走更具可压缩性。将 TD‑STDP actor‑critic 中的前馈 actor 替换为循环动作社区后，在 CartPole 与 LunarLander 上均优于前馈网络，在 Acrobot 上表现相当。模块化强度的最佳程度依赖任务：完整模块化在 Acrobot 上收益最大，而在 LunarLander 上三种模式表现相近。总体而言，这类循环模块化网络能够匹配甚至超越前馈方法，同时提升生物 plausibility 与能效。
点评: 循环模块化为 SNN 强化学习提供了更贴近生物结构的实现路径，兼顾学习性能与能耗优势。