卷积神经网络-LeNet

　　理解channel：卷积操作完成后输出的 out_channels ，取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels

　　C1 层功能解读：卷积核(filter)实际上就是小的特征模版(5×5 feature window)，卷积的作用就是用 特征模版在全图(input image)逐点计算每个点及其邻域 与该模版的符合度

　　S2 层功能解读：S2 层将 C1 层的 6 个特征图分别缩小 1 倍，在尺寸缩小的前提下，要保留 C1 层特 征图中的显著特征，这种保留分两个方面解读：位置、输出

　　C3 层功能解读：这一层将前层的 6 个特征按 16 种方式组合成 16 个组合卷积核(combined filters)， 用这种卷积核对前层的 6 个特征图，做卷积、加截距（偏差）、通过激活函数，获得 16 个新的特征 图，每个特征图对应一个组合卷积核所表达的组合特征

　　S4 层功能解读：S4 层将 C3 层的 16 个特征图分别缩小 1 倍，在尺寸缩小的前提下，要保留 C3 层 特征图中的显著特征。

　　C5 层功能解读：这一层将前层的 16 个特征按全参加的方式组合成 120 个组合卷积核(combined filters)，用这种卷积核对前层的 16 个特征图，做卷积、加截距、通过激活函数，获得 120 个新的 特征图（实际上只是一个特征值），每个特征值对应一个组合卷积核所表达的全图组合特征

　　F6 层功能解读：这一层将前层的 120 个神经元输出值按全连接方式得到本层的 84 个单元

　　F7 层功能解读：这一层将前层的 84 个神经元输出值按全连接方式得到本层的 10 个单元

代价函数：而网络学习的目的就是要通过修改网络权值，从而 降低这个代价值，使得网络输出尽量靠近对应的标签

Gradient Descent :

　　神经网络训练的目的就是选择合适的 θ使得代价函数取得极小

Cross Entropy Loss Function

　　是与Softmax网络相匹配的代价函数

　　基于信息熵的解释：

NiN块

　　一个卷积层后跟两个全连接层

　　步幅为1， 无填充， 输出形状跟卷积层输出一样

　　起到全连接层的作用

　　架构:

　　　　无全连接层

　　　　交替使用NiN块和步幅为2的最大池 化层，逐步减少高度和最大通道数

　　　　最后使用全局平均池化层得到输出，其输入通道数是类别数