目录
深度神经网络的发展催生了越来越多轻量级、高效的模型，其中EfficientNet和MobileNet系列网络尤为典型。它们不仅在计算资源受限的情况下表现出色，还能够在多种应用场景中高效地执行图像分类、目标检测等任务。
EfficientNet系列是由谷歌提出的高效卷积神经网络模型，通过复合缩放策略来优化网络的结构，旨在平衡计算资源和性能。该系列通过复合缩放网络的深度、宽度以及输入分辨率，实现了极高的参数效率。
1. EfficientNetB0（2019年）
EfficientNetB0是EfficientNet系列的首个版本，它引入了复合缩放策略（Compound Model Scaling），可以同时缩放网络的深度、宽度和输入分辨率。不同于传统网络逐一放大模型的单个维度，EfficientNetB0通过综合调整多个维度，在确保高效的前提下提升了模型的准确率，在ImageNet数据集上达到了非常优异的性能。
发表论文：《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》
发布年份：2019
2. EfficientNet B1-B7
EfficientNet B1至B7系列是在EfficientNetB0的基础上逐渐扩展而来，通过进一步扩大复合缩放策略，生成了一系列更加灵活的网络。B1到B7的每个变体针对不同的计算资源和应用场景进行优化，其中B7是系列中最强的变体，能够提供最高的准确率。这些模型适用于计算资源较充裕的场景，也提供了在不同资源限制下的高效解决方案。
3. EfficientNetV2（2021年）
EfficientNetV2是该系列的最新版本，专注于更快的训练速度和更高的计算效率。通过改进网络结构和采用更高效的训练算法，EfficientNetV2在大规模数据集上进一步提升了表现。在保持高精度的同时，EfficientNetV2缩短了训练时间，非常适合需要快速模型迭代和高效计算的任务。
发表论文：《EfficientNetV2: Smaller Models and Faster Training》
发布年份：2021
MobileNet系列是Google设计的一系列轻量级卷积神经网络，专为移动和嵌入式设备设计。MobileNet的主要目标是减少模型的计算量和参数大小，以便在资源受限的设备上也能高效运行。
1. MobileNetV1（2017年）
MobileNetV1的核心创新是深度可分离卷积（Depthwise Separable Convolution），它将标准卷积分解为深度卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution），从而显著减少了模型参数和计算量。此外，V1还引入了**宽度乘数（Width Multiplier）和分辨率乘数（Resolution Multiplier）**两个超参数，允许用户根据资源限制灵活调整网络大小和速度。这种灵活性使得MobileNetV1在移动端设备上广泛应用。
论文标题：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
发布年份：2017
2. MobileNetV2（2018年）
在MobileNetV1的基础上，MobileNetV2引入了线性瓶颈（Linear Bottleneck）和倒置残差结构（Inverted Residuals），极大地提升了模型效率。倒置残差结构通过跳跃连接的方式，进一步减少了运算量，并提高了梯度传播的效果。这些设计不仅提升了模型训练速度，还提高了在资源受限环境中的准确性。
论文标题：MobileNetV2: Inverted Residuals and Linear Bottlenecks
发布年份：2018
3. MobileNetV3（2019年）
MobileNetV3进一步优化了MobileNet架构，采用了AutoML（自动化神经网络架构搜索）技术，通过强化学习选择最优的网络配置。MobileNetV3还引入了Squeeze-and-Excitation模块和H-Swish激活函数，对初始卷积核数和网络末端的计算层进行了优化，从而提升了模型在计算效率和准确性上的平衡。该架构在多个移动设备和嵌入式应用上展现出了良好的性能。
论文标题：Searching for MobileNetV3
发布年份：2019
4. MobileNetV4（2024年）
MobileNetV4是MobileNet系列的最新改进版本，首次引入了通用倒置瓶颈块（Universal Inverted Bottleneck, UIB）和Mobile MQA注意力块。通用倒置瓶颈块（UIB）结合了倒置瓶颈、ConvNext、前馈网络（FFN）和一种新颖的额外深度卷积（ExtraDW）变体。这种组合设计增强了特征提取和信息融合能力，使得MobileNetV4在精度和效率之间取得了新的平衡，进一步优化了移动端推理性能。
论文标题：MobileNetV4: Towards Efficient ConvNet Design under Neural Architecture Search
发布年份：2024
总结
EfficientNet和MobileNet系列网络在轻量级、高效神经网络设计中均取得了显著成就。EfficientNet系列通过复合缩放策略和结构优化，实现了高精度和计算资源的平衡，为高性能计算任务提供了解决方案。MobileNet系列则以其深度可分离卷积和优化的瓶颈结构，成为移动和嵌入式设备的理想选择。随着深度学习的发展，这两个系列的不断演进和创新，推动了在资源受限场景下的深度学习应用拓展，极大地促进了人工智能在多种设备和场景中的普及和应用。
https://github.com/1552186151/ResNet-EfficientNet-MobileNet-Architectural-Innovations