激活函数及其梯度
1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。
科学家借鉴这种机制发明了神经元模型。
这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。
为了解决这问题，科学家引入了新的激活函数。
Sigmoid函数（也称Logistic）
求梯度
sigmoid函数存在缺陷，当导数趋近于0时，参数几乎不再更新，这种现象叫梯度弥散。
pytorch中使用
Tanh函数
求梯度
pytorch中使用
Relu函数（rectified liner unit 整型的线性单元)
求梯度
pytorch中使用
标签：函数,梯度,科学家,pytorch,激活,神经元
From： https://www.cnblogs.com/dxmstudy/p/17432561.html