【神经网络架构】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 论文阅读

摘要

CNNs 通常实在一个有限的硬件下开发的，如果硬件更强大，就可以增大模型来获得更好的 accuracy。在论文中，我们系统的研究了模型的扩展，并且发现 仔细的平衡网络深度，宽度以及输入分辨率能够得到更优的网络，进而得到更好的结果。根据这一观察，我们提出了一个新的 扩展 方法，使用一个简单且高效的复合系数（compund coefficient），统一地 扩展 Depth/Width/Resolution 的 所有的维度。我们通过 增大 MobileNets 和 ResNet 来证明这个方法的有效性。

注：scaling 我翻译为 扩展，意思就是从一个基本模型扩展到不同大小的模型。

为了进一步的证明，我们使用 NAS 去设计一个新的 baseline 网络并且对其进行 增大 进而获得一个模型家族，叫做 EfficientNets，达到了比之前的 ConvNets 更好的 accuracy 和效率。尤其是我们的 EfficientNet-B7 在 ImageNet 上达到了最好的水平即 top-1 accuracy 84.4%/top-5 accuracy 97.1%，然而却比已有的最好的 ConvNet 模型小了 8.4倍 并且推理时间快了 6.1 倍。我们的 EfficientNet 迁移学习的效果也好，在 CIFAR-100（91.7%），Flowers（98.8%），和其他 3个 迁移学习数据集上用更少数量级的参数，达到了最好的 accuracy。

通过 NAS 得到最小的 baseline 模型，然后使用提出来的模型扩展方法增大模型，得到不同大小的模型。

7. 结论

本文系统地研究了 ConvNet 的扩展，并发现仔细平衡网络 宽度、深度和分辨率 是一个重要但缺失的部分，阻碍了我们获得更好的 accuracy 和效率。

为解决这个问题，本文提出一种简单高效的复合缩放方法，能够以更有设计准则的方式轻松地将 baseline ConvNet 扩大 到任何目标资源约束，同时保持模型效率。在这种复合缩放方法的支持下，本文证明了 mobile-size EfficientNet 模型可以非常有效地 扩大，在 ImageNet 和 五个 常用的迁移学习数据集上，以较少的参数和 FLOPS 超过最先进的 accuracy。

1. 引言

放大 ConvNets 被广泛用于实现更好的 accuracy 。

例如，ResNet (He et al.， 2016) 可以通过使用更多的层数从 ResNet-18 放大到 ResNet-200;

最近，GPipe (Huang等人，2018)通过将 baseline 模型扩大四倍，实现了84.3% 的 ImageNet top-1 accuracy 。然而，放大 ConvNets 的过程从来没有被很好地理解，目前有许多方法来做到这一点。

最常见的方法是根据 ConvNets 的 depth (He et al.，2016)或 width(Zagoruyko & Komodakis, 2016) 放大 ConvNets。

另一种不太常见但越来越流行的方法是通过 图像分辨率 来放大模型(Huang等人，2018)。

在之前的工作中，通常只缩放三个维度中的一个 –-depth, width, and image size。虽然可以任意缩放两个或三个维度，但任意缩放需要繁琐的手动调整，仍然经常产生次优的 accuracy 和效率。

Scaling up: 翻译为放大

附录：

自 2017 年以来，大多数研究论文只报告和比较 ImageNet验证集 accuracy; 为了更好地进行比较，本文也遵循这个惯例。此外，我们还通过将我们对 100k 测试集图像的预测提交到 http://image-net.org 来验证测试accuracy;结果如 表8 所示。正如预期的那样，测试 accuracy 非常接近 验证 accuracy。

说明没有过拟合。