- 激活函数
作用：增强网络的非线性能力
扩展：
1：神经网络为什么要引入非线性？
如果神经网路没有引入非线性层，那么神经网络就变成了线性层的堆叠，堆叠后的表达式还是一个线性函数，线性函数的表达能力是有限的，它只能表示特征和目标值之间比较简单的关系，引入非线性层可以提高网络的表达能力
激活函数介绍：
sigmoid函数
优点：
缺点：
Tanh函数（双曲正切函数）
优点：
缺点：
ReLU函数
优点：
缺点：
Leaky ReLU函数
PReLUhanshu
RReLU函数
ELU函数
SELU函数
Maxout函数
Softmac函数
Swish函数
Softplus函数 - 损失函数
- 优化器