激活函数

激活函数是神经网络中的关键组件，它的主要作用是引入非线性，使神经网络能够学习和表示复杂的非线性关系。

在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。

如果没有激活函数，神经网络中的每一层都只是对输入进行线性变换，多个线性变换的组合仍然是线性变换，无法解决实际问题中的复杂模式。通过在每一层添加激活函数，网络可以捕捉到数据中的非线性特征，从而提高模型的表达能力和性能。