摘要
当前脉冲神经网络（SNN）研究的核心目标是提升其准确性，以成为人工神经网络（ANN）的低功耗替代方案。本文进一步论证，实现这一目标不仅需要提高准确性，还需增强鲁棒性，即在输入扰动下维持正确预测的能力。我们识别出现有SNN方法中影响鲁棒性的两个关键问题：
- 二进制脉冲激活在小扰动下会产生较大的激活状态变化。
- 缺乏有效的权重约束使得网络输出对输入变化更为敏感。
为此，我们提出了基于突发增强脉冲神经元（BSN）和动态权重约束（DWC）机制的突发脉冲神经网络（BuSNN）。BSN通过引入突发发放提供了更为平滑的脉冲模式，此机制缓解了由于扰动引起的激活状态转变，从而增强了鲁棒性。DWC根据激活状态对连接权重进行惩罚，有效降低了权重的大小，提升了鲁棒性，同时保持了准确性。
我们提供了理论分析以支持这些鲁棒性效果。实验结果进一步表明，在CIFAR-10等小规模基准测试中，BuSNN在准确性和鲁棒性上均优于SNN和ANN的对应版本。在大规模的ImageNet上，基于MS ResNet-34骨干网络的BuSNN在顶级准确率和抗干扰鲁棒性上分别超过了对应的SNN基线3.18%和2.66%。尽管使用了基于脉冲的激活，BuSNN仍然超越了4位激活量化的ANN基线，并在ImageNet上接近8位ANN基线，同时保持了SNN的低功耗优势。此研究探讨了SNN中的准确性与鲁棒性问题，推动其在鲁棒且节能应用中的实际可行性。
博主点评： 本文提出的BuSNN模型在鲁棒性和准确性方面的提升，展示了脉冲神经网络在解决实际应用中的挑战潜力，尤其是在硬件受限的环境下。其创新的权重约束机制为未来的SNN研究指明了方向，值得关注。