1. 重点和亮度
1.1. 分组1x1卷积(Group Pointwise Convolution)
1.1.1. 分组卷积是什么
左边是标准卷积,右边是分组卷积,与标准卷积不同(每个卷积核需要处理12个通道),分组卷积的卷积核只需要负责它那组的输入通道的卷积任务,如右边的分组卷积,卷积核处理的通道数为4而不是标准卷积那样的12。分组1x1卷积只是表示其中的卷积核尺寸为1x1而已。
1.1.2. 分组卷积优缺点
优点是降低了参数量与计算,减少内存占用,加快推断速度。
缺点也很明显,分组卷积的组和组之间是没有信息交流的,会导致类型近亲繁殖的现象,无法更好提取特征,导致性能下降。
1.2. 通道重排(Channel Shuffle)
1.2.1. 重排逻辑
原来没有通道重排的情况如a图所示,组和组之间一直没有交流,老死不相往来。通道重排是分组卷积之后,将feature map重新排列,如第一组的第一个feature map与第二、三组的按照顺序排在一起,第一组的第二个与第二、三组的第二个feature map排一起……以达成信息交流。
1.2.2. 重排操作
先reshape成g行n列矩阵,其中g为分组数,n为每组输出的feature map通道数,然后转置,最后压平。
1.3. 主要Block模块
a图是将标准bottleneck模块中的卷积改为深度可分离卷积,b图是在a的基础上,将1x1卷积改为分组1x1卷积,降维,然后通道重排,然后再接一个深度可分离卷积,然后分组1x1卷积升维,之后就不接通道重排,因为这里效果已经很好了,最后再接一个shotcut。c图是降采样模块,结果是长宽减半,通道数加倍,左边对输入进行平均池化,步长为2,右边也是先降维再升维,只是深度可分离卷积的步长为2,最后将左右两边的通道串起来。
2. 其他
2.1.分组数量及通道重排的性能影响
shuffle0.5X表示,减少卷积核的数量为shuffle1x的一半,以此类推。
从表中可以得出结论:通道重排比不通道重排的效果要好;分组数越多性能越好,而且在小网络中提升越明显,原因是小网络精度低往往是提取的feature map少,而分组数越多,卷积核也越多,提取的feature map也越多。
但是分组越多,虽然参数和计算量没有增加,但是推断速度却下降了,论文中说到的原因是内存访问和其他复杂的原因,因此权衡精度与速度,最终选择的分组数为3。
3. 参考
[1] 【精读AI论文】旷视轻量化网络ShuffleNet V1
(完)
标签:卷积,feature,Shufflenet,轻量化,V1,1x1,分组,重排,通道 From: https://www.cnblogs.com/harrymore/p/16770779.html