He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法,动机同Xaviar初始化基本一致,都是为了保证信息在前向传播和反向传播过程中能够有效流动,使不同层的输入信号的方差大致相等。
关于参数的大部分假设同Xaviar初始化一致,但是,He初始化对应的是非线性激活函数(Relu 和 Prelu),而Xaviar初始化对应的是线性激活函数。
https://blog.csdn.net/gaoxueyi551/article/details/113853895
标签:初始化,神经网络,Xaviar,Xavier,方法,He From: https://www.cnblogs.com/h694879357/p/16598258.html