DenseNet网络简述

1. DenseNet网络

DenseNet是指Densely connected convolutional networks（密集卷积网络）。在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型而不会增大误差，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”或“捷径”，从而能训练出更深的CNN网络。DenseNet的思路与ResNet一致，但是不同的是，它的模型架构是前面所有层与后面层的密集连接（dense connection）。其论文入选了CVPR2017，作者是康奈尔大学Gao Huang、清华大学Zhuang Liu、Facebook 人工智能研究院研究科学家 Laurens van der Maaten 及康奈尔大学计算机系教授 Kilian Q. Weinberger

2. Densenet网络优点

（1）在保证网络中层与层之间最大程度的信息传输的前提下，对于每个层，将所有先前层的特征图用作输入，并将其自己的特征图用作所有后续层的输入，即直接将所有层连接起来，从而有效的缓解了梯度消失的现象。如下图所示：

（2）DenseNet 网络中dense block 的良好结构，使得每个卷积层的输出 feature map 数量都很小（小于100），这种密集连接模式的一个可能违反直觉的效果就是，其与传统的卷积网络相比，只需要更少的参数，使得特征的传递更加有效，网络更加容易训练。

（3）每个 dense block 的 3X3 卷积前面都包含了一个 1X1 的卷积操作，目的是减少输入的 feature map 数量，既能降维减少计算量，又能融合各个通道的特征。

（4）DenseNet 和 ResNet 相比参数量更小，性能提升更高。如下图所示，DenseNet 的参数量和性能与 ResNet 相比更有优势

3. Densenet网络缺点

Densenet网络在同层深度下获得更好的收敛率，其付出的代价就是极其夸张的显存占用。