本文来自公众号“AI大道理”
Network Slimming剪枝是比较广泛的一种模型剪枝方法,作者来自清华大学、英特尔中国实验室、复旦大学和科内尔大学。
添加图片注释,不超过 140 字(可选)
1、Network Slimming剪枝理论
Network Slimming剪枝是结构性剪枝,是通道剪枝,是静态剪枝。
Network Slimming利用了BN层中的缩放因子γ来控制通道的重要性。
BN层:
BN层是归一化操作,将数据归一化到均值为0,方差为1上,防止数值逐步变大,不利于神经网络的训练。
通常插入在卷积和全连接之后,在非线性处理前。
添加图片注释,不超过 140 字(可选)
若都是线性的,神经网络将失去意义。
因此,需要在BN后再次进行变换,以提供一定的非线性。
添加图片注释,不超过 140 字(可选)
BN引入了两个可训练的参数γ和β。
随着