Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classific

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

Frontiers in neuroscience, 2017, 11: 682

Abstract

　　脉冲神经网络（SNN）可能提供一种有效的推理方式，因为网络中的神经元很少被激活，计算是由事件驱动的。先前的工作表明，简单的连续值深度卷积神经网络（CNN）可以转换为精确的脉冲等价体。这些网络不包括某些常见操作，如最大池、softmax、批处理归一化和Inception模块。本文介绍了这些操作的脉冲等价体，从而允许转换几乎任意的CNN架构。我们展示了流行的CNN架构（包括VGG-16和Inception-v3）到SNN的转换，这些SNN产生了迄今为止在MNIST、CIFAR-10和具有挑战性的ImageNet数据集上报告的最佳结果。SNN可以根据可用操作的数量来权衡分类错误率，而深度连续值神经网络需要固定数量的操作来实现其分类错误率。从用于MNIST的LeNet和用于CIFAR-10的BinaryNet的示例中，我们发现，错误率增加几个百分点后，SNN可以实现比原始CN减少2倍以上的操作。这突出了SNN的潜力，尤其是当SNN部署在用于嵌入式应用的高效神经形态脉冲神经元芯片上时。

Keywords: artificial neural network, spiking neural network, deep learning, object classification, deep networks, spiking network conversion

1. INTRODUCTION

2. METHODS

2.1. Theory for Conversion of ANNs into SNNs

2.1.1. Membrane Equation

2.1.2. Firing Rates in Higher Layers

2.2. Spiking Implementations of ANN Operators

　　在本节中，我们介绍了改进深度SNN分类错误率的新方法（Rueckauer等人，2016）。这些方法要么允许更宽范围的ANN转换，要么减少SNN中的近似误差。

2.2.1. Converting Biases

　　偏差在ANN中是标准的，但之前的SNN转换方法明确排除了偏差。在脉冲网络中，偏差可以简单地以相同符号的恒定输入电流来实现。或者，如Neftci等人（2014）所提出的，可以用与ANN偏差成比例的恒定发放率的外部脉冲输入来呈现偏差，但随后可能必须反转脉冲的符号以说明负偏差。第2.1节中的理论可以应用于具有偏差的神经元的情况，下面的第2.2.2节显示了参数归一化如何也可以应用于偏差。

2.2.2. Parameter Normalization

　　近似误差的一个来源是，在SNN的时间步进模拟中，神经元被限制在[0, r_max]的发放率范围内，而ANN通常没有这样的约束。Diehl等人（2015）引入了权重归一化作为避免由于过低或过高的发放而导致的近似误差的方法。这项工作表明，通过使用基于数据的权重归一化机制，转换后的SNN的性能显著提高。我们将此方法扩展到具有偏差的神经元的情况，并提出了一种使归一化过程对异常值更加鲁棒的方法。

2.2.2.1. Normalization with biases

　　基于数据的权重归一化机制基于用于ANN的ReLU单元的线性。通过线性重新缩放所有权重和偏差，可以简单地将其扩展到偏差，使得对于所有训练示例，ANN激活a [如公式(1)中计算的] 小于1。为了保存层内编码的信息，需要对层的参数进行联合缩放。将层 l 中的最大ReLU激活表示为λ^l = max[a^l]，然后将权重W^l和偏差b^l归一化为和。

2.2.2.2. Robust normalization

2.2.3. Conversion of Batch-Normalization Layers

2.2.4. Analog Input to First Hidden Layer

2.2.5. Spiking Softmax

2.2.6. Spiking Max-Pooling Layers

2.3. Counting Operations

3. RESULTS

3.1. Contribution of Improved ANN Architectures

3.2. Contribution of Improved SNN Conversion Methods

3.3. ImageNet

3.3.1. Transient Dynamics and Voltage Clamp

3.4. Combination with Low-Precision Models

4. DISCUSSION