首页 > 其他分享 >神经网络权重初始化方法He、Xavier初始化

神经网络权重初始化方法He、Xavier初始化

时间:2022-08-18 12:22:52浏览次数:89  
标签:初始化 神经网络 Xaviar Xavier 方法 He

  He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法,动机同Xaviar初始化基本一致,都是为了保证信息在前向传播和反向传播过程中能够有效流动,使不同层的输入信号的方差大致相等。

 

    关于参数的大部分假设同Xaviar初始化一致,但是,He初始化对应的是非线性激活函数(Relu 和 Prelu),而Xaviar初始化对应的是线性激活函数。

 

 https://blog.csdn.net/gaoxueyi551/article/details/113853895

标签:初始化,神经网络,Xaviar,Xavier,方法,He
From: https://www.cnblogs.com/h694879357/p/16598258.html

相关文章