1.常用的激活函数及特点
常用的激活函数有：ReLU、Sigmoid、Tanh等
ReLU激活函数具有：简单、线性相关性和非线性增长等特点
Sigmoid激活函数具有：非线性和可导性等特点
Tanh激活函数具有：非线性和可导性等特点
2.正则化方法和防止过拟合的技巧
正则化方法包括：L1正则化和L2正则化
防止过拟合的技巧包括：数据集的划分、增大数据量、加入噪声、dropout等
3.批归一化的原理和应用
批归一化用于：加速神经网络的训练并提高性能
原理：是对每层的输入进行归一化处理，减少输入分布的变化
应用场景包括：图像分类、目标检测、语音识别等
标签：函数,非线性,ReLU,正则,归一化,激活 From： https://blog.csdn.net/m0_64665859/article/details/139318205