实战（DenseLayer）：下面用本篇的内容，写一个全连接层，实现前向传播、反向传播和参数更新。并用它实现一个3输入1输出的单层感知机，拟合函数y=x0+x1+x2。代码：importtheanoimporttheano.tensorasTTimportnumpyasnpimportpylabclassDataset():def__init__(

NiN块回想一下，卷积层的输入和输出由四维张量组成，张量的每个轴分别对应样本、通道、高度和宽度。另外，全连接层的输入和输出通常是分别对应于样本和特征的二维张量。NiN的想法是在每个像素位置（针对每个高度和宽度）应用一个全连接层。如果我们将权重连接到每个空间位置，我们可以将

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征，然后用全连接层对特征进行处理。AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络（NiN）则是在每个像素的通道上分别使用多层感知机。importtorchfromtorchimportnnfromd2limporttorch

importtorchfromtorchimportnnfromd2limporttorchasd2ldefnin_block(in_channels,out_channels,kernel_size,strides,padding):returnnn.Sequential(nn.Conv2d(in_channels,out_channels,kernel_size,strides,padding),nn.ReLU(),nn.Co

1.数值稳定性当神经网络的层数变得越来越深时，容易出现梯度消失及梯度爆炸的问题。这是因为，输出对于某一层的一组参数的梯度是多个矩阵的乘积，并且越底部（浅层）的层，相乘的矩阵的数量就越多。梯度消失会导致参数更新过小，甚至梯度为0，网络无法训练。sigmoid函数容易导致梯度消失：