首页 > 其他分享 >[轻量化网络]Shufflenet V1学习笔记

[轻量化网络]Shufflenet V1学习笔记

时间:2022-10-09 00:44:20浏览次数:70  
标签:卷积 feature Shufflenet 轻量化 V1 1x1 分组 重排 通道

1. 重点和亮度

1.1. 分组1x1卷积(Group Pointwise Convolution)

1.1.1. 分组卷积是什么

左边是标准卷积,右边是分组卷积,与标准卷积不同(每个卷积核需要处理12个通道),分组卷积的卷积核只需要负责它那组的输入通道的卷积任务,如右边的分组卷积,卷积核处理的通道数为4而不是标准卷积那样的12。分组1x1卷积只是表示其中的卷积核尺寸为1x1而已。

1.1.2. 分组卷积优缺点

优点是降低了参数量与计算,减少内存占用,加快推断速度。

缺点也很明显,分组卷积的组和组之间是没有信息交流的,会导致类型近亲繁殖的现象,无法更好提取特征,导致性能下降。

 

1.2. 通道重排(Channel Shuffle)

1.2.1. 重排逻辑

原来没有通道重排的情况如a图所示,组和组之间一直没有交流,老死不相往来。通道重排是分组卷积之后,将feature map重新排列,如第一组的第一个feature map与第二、三组的按照顺序排在一起,第一组的第二个与第二、三组的第二个feature map排一起……以达成信息交流。

1.2.2. 重排操作

先reshape成g行n列矩阵,其中g为分组数,n为每组输出的feature map通道数,然后转置,最后压平。

1.3. 主要Block模块

a图是将标准bottleneck模块中的卷积改为深度可分离卷积,b图是在a的基础上,将1x1卷积改为分组1x1卷积,降维,然后通道重排,然后再接一个深度可分离卷积,然后分组1x1卷积升维,之后就不接通道重排,因为这里效果已经很好了,最后再接一个shotcut。c图是降采样模块,结果是长宽减半,通道数加倍,左边对输入进行平均池化,步长为2,右边也是先降维再升维,只是深度可分离卷积的步长为2,最后将左右两边的通道串起来。

2. 其他

2.1.分组数量及通道重排的性能影响

shuffle0.5X表示,减少卷积核的数量为shuffle1x的一半,以此类推。

从表中可以得出结论:通道重排比不通道重排的效果要好;分组数越多性能越好,而且在小网络中提升越明显,原因是小网络精度低往往是提取的feature map少,而分组数越多,卷积核也越多,提取的feature map也越多。

但是分组越多,虽然参数和计算量没有增加,但是推断速度却下降了,论文中说到的原因是内存访问和其他复杂的原因,因此权衡精度与速度,最终选择的分组数为3。

3. 参考

[1] 【精读AI论文】旷视轻量化网络ShuffleNet V1

(完)

标签:卷积,feature,Shufflenet,轻量化,V1,1x1,分组,重排,通道
From: https://www.cnblogs.com/harrymore/p/16770779.html

相关文章

  • CentOS 7.9 安装 node-v14.16.0
    下载地址:https://nodejs.org/dist/v14.16.0/node-v14.16.0-linux-x64.tar.gz 解压压缩包 tarzxvf/opt/software/node-v14.16.0-linux-x64.tar.gz-C/opt/ 添......
  • [轻量化网络]Mnasnet学习笔记
    1.重点与亮点1.1. 多目标优化函数  将准确定性能和真实手机推理时间结合在一起,兼顾精度和速度构建出多目标的优化函数。(精度,速度)其中ACC是准确度;LAT是预测时间;T......
  • CentOS 7.9 安装 node-v14.16.0
    下载地址:https://nodejs.org/dist/v14.16.0/node-v14.16.0-linux-x64.tar.gz 解压压缩包tarzxvf/opt/software/node-v14.16.0-linux-x64.tar.gz-C/opt/ 添加至......
  • KAL1 LINUX 官方文档之arm板版本 --- 树莓派 2 v1.2(更新于2022)
    树莓派2v1.2RaspberryPi2v1.2已RaspberryPi2ModelBV1.2印在CPU上方的PCB上。如果您的RaspberryPi2没有此功能,您应该遵循RaspberryPi2文档Raspb......
  • 谷歌经典的语义分割框架系列1——DeepLab v1
    临近中国的春节,Google团队也从不休假,趁着中国人每年一度大迁徙,他们在arXiv放出了DeepLabv3+,虽然这个技术已经出现很久,但是其在语义分割领域取得新的state-of-the-art......
  • Pytorch 深度可分离卷积和MobileNet_v1
    Pytorch深度可分离卷积和MobileNet_v1​​1.深度可分离卷积​​​​卷积过程​​​​Depthwise过程​​​​Pointwise过程​​​​2.优势创新​​​​计算加速​​​​参......
  • Microsoft Office LTSC 2021 for Macv16.67 beta版mac/win
    近日,微软公司发布了office 2021Standard(预览版),以在组织中运行macOS的设备上进行安装和测试。本站第一时间为您带来office2021forMac商业预览版,Mac版office2021包括W......
  • Premiere Pro 2021 for Mac(pr 2021 直装版)v15.4.1中文版 mac/win
    PremierePro2021forMac是Adobe公司旗下的一款功能强大的视频编辑软件,具有智能化视频剪辑工具,可以为您提供采集、剪辑、调色、美化音频、字幕添加、输出、DVD刻录的一整......
  • Burp_Suite_Pro_v1.7.37 安装和配置
    参考链接Burp_Suite_Pro_v1.7.371从官网下载jdk8链接选择Linuxx86CompressedArchive2下载并解压缩#下载jdk8此处wget的非官方文件wgethttps://www.icultu......
  • Affinity Publisher for Mac(桌面排版神器)v1.10.5中文注册版
    你可能不知道,排版神器正式版AffinityPublisherforMac已经发布了!AffinityPublisherforMac中文注册版是创意软件工作室Serif旗下的一款桌面排版应用,可以帮助专业设计......