神经网络的梯度更新
反向传播算法：神经网络中加速计算参数梯度值的方法
梯度下降算法 -> 随机梯度下降、动量随机梯度
凸优化：
几何意义，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集
BN训练测试：
BN本质上是解决传播过程中的梯度消失问题
标签：RNN,梯度,BN,ResNet,集合,LSTM From： https://www.cnblogs.com/dwletsgo/p/16975800.html
神经网络的梯度更新
反向传播算法：神经网络中加速计算参数梯度值的方法
梯度下降算法 -> 随机梯度下降、动量随机梯度
凸优化：
几何意义，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集
BN训练测试：
BN本质上是解决传播过程中的梯度消失问题
标签：RNN,梯度,BN,ResNet,集合,LSTM From： https://www.cnblogs.com/dwletsgo/p/16975800.html