郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)
Abstract
脉冲神经网络（SNN）在时空信息和事件驱动信号处理的生物可编程编码中很有前途，非常适合在神经形态硬件中实现节能。然而，SNN独特的工作模式使其比传统网络更难训练。目前，有两条主要路线来探索高性能深度SNN的训练。第一种是将预先训练的ANN模型转换为其SNN版本，SNN版本通常需要很长的编码窗口才能收敛，并且不能在训练过程中利用时空特征来解决时间任务。另一种是在时空域中直接训练SNN。但是，由于发放函数的二值脉冲活动和梯度消失或爆炸的问题，当前的方法仅限于浅层架构，因此难以利用大规模数据集（例如ImageNet）。为此，我们提出了一种基于新兴时空反向传播的阈值相关批归一化（tdBN）方法，称为“STBP-tdBN”，能够直接训练非常深的SNN，并在神经形态硬件上有效实现其推理。通过所提出的方法和详细的跳连，我们将直接训练的SNN从浅层结构（<10层）显著扩展到非常深的结构（50层）。此外，我们还从理论上分析了基于“块体动力学等距”（Block Dynamical Isometry）理论的方法的有效性。最后，我们报告了优越的准确率结果，包括在CIFAR-10上的93.15%，在DVS-CIFR10上的67.8%，以及在ImageNet上的67.05%，时间步长非常少。据我们所知，这是第一次在ImageNet上探索直接训练的高性能深度SNN。我们相信这项工作将为充分利用SNN的优势铺平道路，并吸引更多的研究人员在该领域做出贡献。
Introduction
Related Work
Learning algorithm of SNNs
Gradient vanishing or explosion in the deep neural network (DNN)
Normalization
Materials and Methods
Iterative LIF Model
Threshold-dependent Batch Normalization
Overall Training Algorithm
Theoretical Analysis
Gradient Norm Theory
Influence of membrane decay mechanism
Scaling Factors
Deep Spiking Residual Network
Experiment
Experiment on Static Datasets
Experiment on Neuromorphic Datasets
Conclusion
标签：Deeper,训练,Neural,SNN,Larger,Experiment,AAAI,时空,Spiking From： https://www.cnblogs.com/lucifer1997/p/17243913.html