摘要
使用非侵入性脑电图（EEG）进行三维（3D）运动想象（MI）的连续解码仍然面临信号变异性和残余解码误差的挑战。尽管深度学习架构如卷积神经网络-长短期记忆（CNN-LSTM）模型能够捕捉空间和时间动态，但预测轨迹中仍存在系统性残余误差。我们提出了一种两阶段解码框架，应用强化学习（RL）对CNN-LSTM解码器的输出进行残余运动修正（CNN-LSTM-RL）。该RL代理在离线模式下训练，不直接使用EEG输入，而是基于预测的运动轨迹优化与目标轨迹的运动精度。
解码性能通过皮尔逊相关系数（$r$）和均方根误差（RMSE）在$x, y, z$轴上进行量化。与单独应用CNN-LSTM相比，CNN-LSTM-RL在2D中将平均相关性从$0.5076$提升至$0.7181$（$p = 0.0005$），在虚拟现实（VR）中从$0.6420$提升至$0.7780$（$p = 0.0059$），相对增益分别为$41.5\\%$和$21.2\\%$。相应地，RMSE从$0.0890$降低到$0.0532$（2D，$p < 0.0001$）。
博主点评： 该研究通过强化学习显著提升了脑机接口中运动解码的准确性，展示了深度学习与RL结合的巨大潜力。这不仅推动了神经解码技术的进步，还为未来的脑机接口应用提供了新的思路和方法。值得关注的是，RL的引入使得系统能够在无监督的情况下进行优化，极大地增强了模型的灵活性与适应性。