https://blog.csdn.net/zml194849/article/details/117021815一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwiseseparableconvolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征featuremap。相比常规的卷积操作，其参数数量和运算成本比较低。深度

写在前面：可分离卷积提出的原因  卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目

由于ResNet的残差结构会跳过一些网络结果，所以其实resnet的有效深度其实并不深，所以有效感受野并不大。而大kernel模型不但有效感受野更大而且更像人类（shapebias高）。这也可能是传统CNN虽然在ImageNet上跟Transformer差不多，但在下游任务上普遍不如Transformer的原因。Transformer可

          来源：深度可分离卷积（Depthwiseseparableconvolution）-知乎(zhihu.com) 

为什么是大kernel卷积？Transformer目前在CV领域愈发火热，这份火热促使着优秀学者们思考一个更深层次的问题。部分学者认为Transformer之所以work更加本质的原因在于

MLP-Mixer:Anall-MLPArchitectureforVisionpreref:https://zhuanlan.zhihu.com/p/369970953ref:https://zhuanlan.zhihu.com/p/373070779ref:https://zhuanlan