首页 > 其他分享 >神经网络中的dropout与Batchnorm

神经网络中的dropout与Batchnorm

时间:2023-01-17 22:13:02浏览次数:53  
标签:dropout 样本 噪声 神经网络 Batchnorm BN

1.【深度学习】深入理解Batch Normalization批标准化 - 郭耀华 - 博客园 (cnblogs.com)

“这项研究认为,BN效果好是因为BN的存在会引入mini-batch内其他样本的信息,就会导致预测一个独立样本时,其他样本信息相当于正则项,使得loss曲面变得更加平滑,更容易找到最优解。相当于一次独立样本预测可以看多个样本,学到的特征泛化性更强,更加general”

2.(19条消息) 深度学习中Dropout的作用和原理_山上有只羊M的博客-CSDN博客_dropout在训练神经网络模型的作用

从两个角度:组合派,是2^n个模型的组合

      噪声派 两个角度解释,噪声派这里的稀疏性还没有很理解

标签:dropout,样本,噪声,神经网络,Batchnorm,BN
From: https://www.cnblogs.com/sun-secretbase/p/17058785.html

相关文章