4月10课堂测试

用自己的话说明深度学习训练三部群正向传播，反向传播，梯度下降的基本功能和原理。

正向传播：正向传播是指输入数据通过神经网络的各个层，最终得到输出结果的过程。在正向传播中，每一层的神经元将输入数据进行加权求和，并经过激活函数处理后传递给下一层。神经网络的参数在正向传播中保持不变，正向传播过程可以理解为网络最终算出一个预测值。

反向传播：反向传播是指根据输出结果与真实标签之间的误差，通过神经网络反向计算梯度的过程。它从输出层开始，通过链式法则依次计算每一层的参数对误差的影响，然后将这些梯度传递回去更新参数。反向传播的关键在于求解每个参数对误差的偏导数，这个过程利用了链式法则。

梯度下降：梯度下降是一种优化算法，用于调整神经网络参数以最小化损失函数。它利用反向传播计算得到的梯度信息，沿着梯度的反方向逐步调整参数，以减少损失函数的值。梯度下降的核心思想是在参数空间中找到损失函数的局部最小值点，使得神经网络的预测结果与真实标签更加接近。

2、请问人工神经网络中为什么ReLu要好过于tanh和sigmoid function？

解决梯度消失问题：在反向传播过程中，tanh和sigmoid函数的梯度在两端趋于0，导致梯度消失问题，使得网络难以训练。而ReLU函数在正值区域的导数恒为1，因此不存在梯度消失问题，能够更有效地传递梯度信息，加速收敛。稀疏激活性：ReLU函数在输入为负时输出为0，因此可以使得网络中的神经元更加稀疏地激活，减少参数之间的冗余性。相比之下，tanh和sigmoid函数在输入的绝对值较大或较小时，输出接近于饱和状态，神经元的激活信息不够稀疏。

计算效率高：ReLU函数的计算简单，只需比较输入是否大于0即可，避免了复杂的指数运算。相比之下，tanh和sigmoid函数需要进行指数运算，计算量较大，特别是在深层网络中会增加训练的时间成本。

3、为什么引入非线性激励函数？

因为如果不用非线性激励函数，每一层都是上一层的线性函数，无论神经网络多少层，输出都是输入的线性组合，与只有一个隐藏层效果一样。相当于多层感知机了。所以引入非线性激励函数，深层网络就变得有意义了，可以逼近任意函数。