摘要
脑电场电位是无尺度的,其功率谱遵循 $1/f^{\beta}$ 法则,其中无周期指数 $\beta$ 反映了皮层状态,尤其是睡眠深度的变化。我们探讨了一种具备显式重整化群 (RG) 归纳偏见的 Transformer——RG-Flow Transformer,是否在处理真实且稀缺的 EEG 数据时优于参数匹配的普通 Transformer。
在使用 PhysioNet Sleep-EDF 数据集时,我们进行了严格的按主题保留测试,主要研究了以下几方面:
- 将 RG-Flow 与参数匹配的普通 Transformer 以及仅使用层次结构的消融模型进行基准测试,针对 5 类 AASM 睡眠分级。
- 在每个主题的数据预算上进行扫描,以寻找在数据稀缺时预测的归纳偏见交叉点。
- 测试 RG-Flow 学习到的 $\gamma$ 是否跟踪测量到的谱指数 $\beta$,而普通模型则不具备此特性。
在 5 名受试者和 5 个种子下进行的留一主题交叉验证中,RG-Flow 和普通 Transformer 在 5 类分级上的表现统计上没有显著差异(77.3% vs 77.0% 准确率;配对 $p=0.294$)。然而,预测的稀缺数据交叉点并未出现:在每个数据受限的预算中,普通模型数值上领先。两者的主要区别在于可解释性——RG-Flow 能够在样本外恢复连续谱指数 ($\beta$-恢复 $R^2 = 0.416$),而普通架构没有相应的能力。
博主点评: RG-Flow Transformer 在处理稀缺 EEG 数据时展现了出色的可解释性,尽管在准确性上与传统模型相当,但其在谱指数恢复方面的能力为理解神经信号提供了新的视角,值得进一步探索其在其他领域的应用潜力。