激活函数
之前使用的 a = σ ( z ) a=\sigma(z) a=σ(z) ，其中 σ ( ) \sigma(~) σ( ) 便是激活函数。
在神经网络中，不同层的激活函数可以不同。
在学习中，一般以 g ( z ) g(z) g(z) 来表示激活函数。
为什么需要(线性)激活函数？
不需要激活函数就等同于使用线性激活函数
g
(
z
)
=
z
g(z)=z
g(z)=z （恒等激活函数），那么使用单个样本下的双层网络代码就为：
G
i
v
e
n
i
n
p
u
t
x
:
a
[
0
]
=
x
z
[
1
]
=
W
[
1
]
a
[
0
]
+
b
[
1
]
a
[
1
]
=
z
[
1
]
z
[
2
]
=
W
[
2
]
a
[
1
]
+
b
[
2
]
a
[
2
]
=
z
[
2
]
\begin{align*} &Given~~input~~x:\\ &~~~~~~~~a^{[0]}=x\\ &~~~~~~~~z^{[1]}=W^{[1]}a^{[0]}+b^{[1]}\\ &~~~~~~~~a^{[1]}=z^{[1]}\\ &~~~~~~~~z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}\\ &~~~~~~~~a^{[2]}=z^{[2]} \end{align*}
Given input x: a[0]=x z[1]=W[1]a[0]+b[1] a[1]=z[1] z[2]=W[2]a[1]+b[2] a[2]=z[2]
将最后的结果展开，则
a
[
2
]
=
z
[
2
]
=
W
[
2
]
(
W
[
1
]
a
[
0
]
+
b
[
1
]
)
+
b
[
2
]
=
(
W
[
2
]
W
[
1
]
)
a
[
0
]
+
W
[
2
]
b
[
1
]
+
b
[
2
]
a^{[2]}=z^{[2]}=W^{[2]}(W^{[1]}a^{[0]}+b^{[1]})+b^{[2]}=(W^{[2]}W^{[1]})a^{[0]}+W^{[2]}b^{[1]}+b^{[2]}
a[2]=z[2]=W[2](W[1]a[0]+b[1])+b[2]=(W[2]W[1])a[0]+W[2]b[1]+b[2] ，其中
W
[
2
]
W
[
1
]
W^{[2]}W^{[1]}
W[2]W[1] 可以看作
W
′
W^{'}
W′ ，
W
[
2
]
b
[
1
]
+
b
[
2
]
W^{[2]}b^{[1]}+b^{[2]}
W[2]b[1]+b[2] 可以看作
b
′
b^{'}
b′ ，最终可等效为
a
[
2
]
=
W
′
a
[
0
]
+
b
′
a^{[2]}=W^{'}a^{[0]}+b^{'}
a[2]=W′a[0]+b′ 。
这说明，如果没有激活函数，或者是其他线性激活函数，那么无论层数多深，总会存在与之等效的单层神经网络，那么深度学习的意义就没有了，就变成了单纯的逻辑回归了。
特例
针对回归问题，输出层可以使用线性激活函数，而隐藏层依旧不可以。
sigma函数
g ( z ) = σ ( z ) g(z)=\sigma(z) g(z)=σ(z)
公式： a = σ ( z ) = 1 1 + e − z a=\sigma(z)=\frac{1}{1+e^{-z}} a=σ(z)=1+e−z1 。
函数图像：
梯度/斜率/导数：
g
′
(
z
)
=
d
d
z
g
(
z
)
=
1
1
+
e
−
z
(
1
−
1
1
+
e
−
z
)
=
g
(
z
)
[
1
−
g
(
z
)
]
\begin{align*} g^{'}(z)=\frac{d}{dz}g(z)&=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})\\ &=g(z)[1-g(z)] \end{align*}
g′(z)=dzdg(z)=1+e−z1(1−1+e−z1)=g(z)[1−g(z)]
导数图像：
使用：在**二元分类**问题上（输出层的结果为0~1），输出层的激活函数可以使用sigma函数。
禁用：在非二元分类问题上，禁用，即使是二元分类问题，隐藏层中也不能用。
缺点： z z z 非常大或者非常小时， σ ( z ) \sigma(z) σ(z) 函数的梯度（斜率）会很小，会形成梯度消失问题，从而拖慢梯度下降算法。
双曲正切函数
g ( z ) = t a n h ( z ) g(z)=tanh(z) g(z)=tanh(z)
公式： a = t a n h ( z ) = e z − e − z e z + e − z a=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}} a=tanh(z)=ez+e−zez−e−z 。
函数图像：
优点：可达到“数据中心化”的效果，即数据平均值接近 0 0 0 。
缺点：① 二元分类问题上（输出层的结果为0~1），输出层不能用。
② z z z 非常大或者非常小时， t a n h ( z ) tanh(z) tanh(z) 函数的梯度（斜率）会很小，会形成梯度消失问题，从而拖慢梯度下降算法。
梯度/斜率/导数：
g
′
(
z
)
=
d
d
z
g
(
z
)
=
1
−
g
2
(
z
)
\begin{align*} g^{'}(z)=\frac{d}{dz}g(z)=1-g^{2}(z) \end{align*}
g′(z)=dzdg(z)=1−g2(z)
导数图像：
线性修正单元（ReLU）
g ( z ) = R e L U ( z ) g(z)=ReLU(z) g(z)=ReLU(z)
现在已经变成隐层激活函数的默认选择了。
公式： a = R e L U ( z ) = m a x { 0 , z } a=ReLU(z)=max\{0,z\} a=ReLU(z)=max{0,z} 。
函数图像：
P.S.： z = 0 z=0 z=0 这一点的导数不存在，但在编程中，刚好 z = 0 z=0 z=0 的概率非常之低，所以不用担心。或者自己可以给 z = 0 z=0 z=0 点的导数赋值。
**注意：**ReLU并不是线性激活函数，其导数并不是在全域都为恒定值。
梯度/斜率/导数：
g
′
(
z
)
=
{
0
,
if
z
<
0
1
,
if
z
≥
0
\begin{align*} g^{'}(z)=\begin{cases} 0, & \text {if $z<0$}\\ 1, & \text {if $z≥0$}\\ \end{cases} \end{align*}
g′(z)={0,1,if z<0if z≥0
z
=
0
z=0
z=0 处的导数，可以人为定义成
1
1
1 或
0
0
0 。
导数图像：
带泄露ReLU（Leaky ReLU）
g ( z ) = L e a k y R e L U ( z ) g(z)=Leaky~ReLU(z) g(z)=Leaky ReLU(z)
公式： a = L e a k y R e L U ( z ) = m a x { b ⋅ z , z } a=Leaky~ReLU(z)=max\{b·z,z\} a=Leaky ReLU(z)=max{b⋅z,z} ， b b b 可以取 0.01 0.01 0.01 。
函数图像：
梯度/斜率/导数：
g
′
(
z
)
=
{
0.01
,
if
z
<
0
1
,
if
z
≥
0
\begin{align*} g^{'}(z)=\begin{cases} 0.01, & \text {if $z<0$}\\ 1, & \text {if $z≥0$}\\ \end{cases} \end{align*}
g′(z)={0.01,1,if z<0if z≥0
z
=
0
z=0
z=0 处的导数，可以人为定义成
1
1
1 或
0.01
0.01
0.01 。
导数图像：
