1. DenseNet网络
DenseNet是指Densely connected convolutional networks(密集卷积网络)。在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型而不会增大误差,从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”或“捷径”,从而能训练出更深的CNN网络。DenseNet的思路与ResNet一致,但是不同的是,它的模型架构是前面所有层与后面层的密集连接(dense connection)。其论文入选了CVPR2017,作者是康奈尔大学Gao Huang、清华大学Zhuang Liu、Facebook 人工智能研究院研究科学家 Laurens van der Maaten 及康奈尔大学计算机系教授 Kilian Q. Weinberger
2. Densenet网络优点
(1)在保证网络中层与层之间最大程度的信息传输的前提下,对于每个层,将所有先前层的特征图用作输入,并将其自己的特征图用作所有后续层的输入,即直接将所有层连接起来,从而有效的缓解了梯度消失的现象。如下图所示:
(2)DenseNet 网络中dense block 的良好结构,使得每个卷积层的输出 feature map 数量都很小(小于100),这种密集连接模式的一个可能违反直觉的效果就是,其与传统的卷积网络相比,只需要更少的参数,使得特征的传递更加有效,网络更加容易训练。
(3)每个 dense block 的 3X3 卷积前面都包含了一个 1X1 的卷积操作,目的是减少输入的 feature map 数量,既能降维减少计算量,又能融合各个通道的特征。
(4)DenseNet 和 ResNet 相比参数量更小,性能提升更高。如下图所示,DenseNet 的参数量和性能与 ResNet 相比更有优势
3. Densenet网络缺点
Densenet网络在同层深度下获得更好的收敛率,其付出的代价就是极其夸张的显存占用。
标签:卷积,ResNet,网络,简述,CNN,DenseNet,Densenet From: https://blog.51cto.com/CANGYE0504/5780439