NeFut Logo NeFut
EN 管理员登录

[AI学术] 基于条件信息瓶颈的脉冲神经网络鲁棒表示学习

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#Machine Learning #Neural #Artificial Intelligence

脉冲神经网络因事件驱动和时空稀疏在低功耗神经形态计算中有前景,但在真实部署时易受输入扰动、硬件噪声和对抗攻击影响。我们发现传统使用交叉熵训练的SNN会学习到与输入强相关的隐藏表征,信息平面分析显示在标签预测信息稳定后仍保留大量输入信息。

为此提出 SCIB(Conditional Information Bottleneck),在变分信息瓶颈框架中用条件互信息 $I(X;S|Y)$ 取代原始的 $I(X;S)$,并推导出可计算的上界。SCIB 采用可学习的类别条件先验,而非标签无关的各向同性高斯先验,使压缩过程更具表达力,并在监督分类目标下促使表征呈现类结构。

在 Fashion-MNIST、CIFAR-10、CIFAR-100 上分别加入外部环境噪声、神经形态硬件噪声和多种对抗攻击进行系统评估。实验表明 SCIB 在大多数噪声条件下相较标准 SNN 与基于 IB 的基线提升鲁棒性,在未使用对抗训练的情况下也显著提升对抗准确率,并将基于 SynOps 的单样本推理能耗降低约 24.9%。

综上,条件信息瓶颈提供了一种简洁而有效的方式来约束 SNN 的隐藏表征,使其更专注于标签相关信息,从而提升在噪声和攻击环境中的稳健性和能效。

点评

原文链接: https://arxiv.org/abs/2610.28110

[h] 返回首页