mobileNetV1、2、3与YOLOV4

一、mobileV1

MobileNet模型是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，其使用的核心思想便是depthwise separable convolution（深度可分离卷积块）能够有效降低参数量。

　　对于常规卷积：假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每个数据，最后可得到所需的32个输出通道，所需参数为16×32×3×3=4608个。

　　对于深度可分离卷积：用16个3×3大小的卷积核分别遍历16通道的数据，得到了16个特征图谱。在融合操作之前，接着用32个1×1大小的卷积核遍历这16个特征图谱(进行升维)，所需参数为16×3×3+16×32×1×1=656个。
可以看出来depthwise separable convolution可以减少模型的参数。

　　如下这张图就是depthwise separable convolution的结构；可以看到深度可分离卷积包含：深度可分离卷积核、1*1卷积。

 　　如下图，整个网络几乎都是有深度可分离卷积构成。

二、mobileNetV2

　　相对V1的改进：有人在实际使用的时候， 发现深度卷积部分的卷积核比较容易训废掉：训完之后发现深度卷积训出来的卷积核有不少是0；将ReLU替换成线性激活函数。

MobileNetV2是MobileNet的升级版，它具有一个非常重要的特点就是使用了Inverted resblock，整个mobilenetv2都由Inverted resblock组成。

Inverted resblock可以分为两个部分：

• 　　左边是主干部分，首先利用1x1卷积进行升维，然后利用3x3深度可分离卷积进行特征提取，然后再利用1x1卷积降维。
• 　　右边是残差边部分，输入和输出直接相接。

 　整体网络结构如下：（其中Inverted resblock进行的操作就是上述结构）

　　补充：参考：https://blog.csdn.net/Roaddd/article/details/111416386?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.no_search_link&spm=1001.2101.3001.4242.1&utm_relevant_index=2

 Inverted Residual（逆残差）

原始Residual block和Inverted residual block对比

（a）Original residual block：reduce – transfer – expand （中间窄两头宽）
Residual block先用1x1卷积降通道过ReLU，再3x3卷积过ReLU，最后再用1x1卷积过ReLU恢复通道，并和输入相加。之所以要1*1卷积降通道，是为了减少计算量，不然中间的3x3卷积计算量太大。所以Residual block是中间窄两头宽。
（b）Inverted residual block：expand – transfer – reduce （中间宽两头窄）
在Inverted Residual block中，3x3卷积变成Depthwise了，计算量很少了，所以通道数可以多一点，效果更好，所以通过1x1卷积先提升通道数，再Depthwise3x3卷积，最后用1x1卷积降低通道数。两端的通道数都很小，所以1x1卷积升通道和降通道计算量都并不大，而中间的通道数虽然多，但是Depthwise 的卷积计算量也不大。下图即为具体实例：

– 为什么要使用Inverted residual
skip connection这种bottleneck的结构被证明很有效，所以想用。但是如果像以前那样先压缩channal，channal数本来就少，再压没了，所以不如先增大后减少。

三、mobileNetV3

　　mobilenetV3使用了特殊的bneck结构。bneck结构如下图所示：

 它综合了以下四个特点：
a、MobileNetV2的具有线性瓶颈的逆残差结构(the inverted residual with linear bottleneck)。

　　即先利用1x1卷积进行升维度，再进行下面的操作，并具有残差边。

b、MobileNetV1的深度可分离卷积（depthwise separable convolutions）。

 c、轻量级的注意力模型。

　　这个注意力机制的作用方式是调整每个通道的权重。

举个例子：SE注意力机制流程：特征图（h,w,c）经过全局平均pooling之后，得到维度为1,1,c的特征图，通过第一个FC+Relu将其调整至维度为C/4的特征图，经过第二个FC+hard-sigmoid将其调整至维度为(1,1,C)的特征图，然后与原特征图每个通道对应相乘。

d、利用h-swish代替swish函数，用hard-sigmoid代替sigmoid
　　在结构中使用了h-swish激活函数，代替swish函数，减少运算量，提高性能,便于移动端量化。

h-swish：https://blog.csdn.net/Harvey_Hawk/article/details/112241168

RELU6：https://blog.csdn.net/jsk_learner/article/details/102822001

　　下图为整个mobilenetV3的结构图：

如何看懂这个表呢？我们从每一列出发：
第一列Input代表mobilenetV3每个特征层的shape变化；
第二列Operator代表每次特征层即将经历的block结构，我们可以看到在MobileNetV3中，特征提取经过了许多的bneck结构；
第三、四列分别代表了bneck内逆残差结构上升后的通道数、输入到bneck时特征层的通道数。
第五列SE代表了是否在这一层引入注意力机制。
第六列NL代表了激活函数的种类，HS代表h-swish，RE代表RELU。
第七列s代表了每一次block结构所用的步长。