转自:https://www.cnblogs.com/miraclepbc/p/14368116.html
产生背景
随着网络深度的增加,会出现网络退化的现象。
网络退化现象形象化解释是在训练集上的loss不增反降。
这说明,浅层网络的训练效果要好于深层网络
一个想法就是,如果将浅层网络的特征传到深层网络,那么深层网络的训练效果不会比浅层网络差
举个例子,就是假设总共有50层,20层的训练结果就比50层的好了,因此可以将18层与98层之间连接一个直接映射
这样随着网络的加深,训练效果就不会降低了
残差块
残差块的数学表示:
xl+1=xl+F(xl,Wl)