《Multi-scale 3D deep convolutional neural network for hyperspectral image classification》

论文题目：《Multi-scale 3D deep convolutional neural network for hyperspectral image classification》 

论文作者：Mingyi He, Bo Li, Huahui Chen

论文发表年份：2017

模型简称：M3D-DCNN

发表会议：ICIP

代码复现：https://github.com/eecn/Hyperspectral-Classification

Abstract

　　深度神经网络(DNN)和深度学习在1D(语音)、2D(图像)和3D (3Dobject)识别/分类问题上的研究取得了很大进展。由于具有二维空间和一维光谱信息的高光谱图像与三维物体图像有很大的不同，现有的DNN不能直接推广到高光谱图像(HSI)分类中。提出了一种用于HSI分类的多尺度三维深度卷积神经网络(M3D-DCNN)，该网络可以端到端从HSI数据中联合学习二维多尺度空间特征和一维光谱特征，有望在大规模数据集中获得更好的分类效果。虽然没有任何手工特征或PCA、稀疏编码等预处理/后处理，但我们在标准数据集上获得了最先进的结果，这表明我们的方法在技术上的有效性和先进性。

Contribution

(1)提出了一种三维深度CNN (3D-DCNN)方法，探讨了三维卷积在HSI分类中的作用，并将其与目前使用的基于CNN的HSI分类方法进行了比较。

(2)提出了一种多尺度三维卷积块。在此基础上，我们提出了一种多尺度三维深度CNN (M3D-DCNN)用于HSI分类，以满足空间域多尺度目标。实验结果表明，M3D-DCNN能够以更简洁自然的方式同步提取空间和光谱特征。

(3)我们提出的M3D-DCNN不需要任何手工特征和PCA、稀疏表示等预处理/后处理，在标准数据集上获得了最先进的结果。更重要的是，我们的方法完全是一种端到端方法，有望在未来的大规模数据集上取得更好的结果。

Method

　　1D, 2D, 3D Convolution For HSI Data（公式与图示如下）：

　　Multi-scale 3D Convolution Block：多尺度信息已被证明可用于相关问题的分类。这在一定程度上是因为多尺度结构包含了丰富的上下文信息。但目前在HSI分类领域研究还不够深入。本文提出了一种多尺度的三维卷积块，它可以作为一个基本结构，构建更强大的CNN模型，用于HSI检测和分类。

　　M3D-DCNN Model：利用我们的多尺度三维卷积块，我们构建了一个多尺度三维卷积神经网络模型，如图3所示。它由10个卷积层和1个全连接层组成，网络深度为5。我们利用dropout层来防止过拟合。在我们的实验中，dropout ratio为0.6。

 　　该模型的详细超参数设置如下表所示。选择超参数对训练数据进行验证。换句话说，我们用80%的训练样本学习权值，用剩下的20%选择合适的超参数。我们对所有三个数据集使用相同的模型设置。换句话说，我们不会刻意调优超参数来追求更高的性能。

Experiment

　　首先，我们将我们的M3D-DCNN方法与其他最先进的方法如RBF-SVM ， Hu的CNN和Mei的CNN进行比较。在相同的实验设置(如训练样本数量和补丁大小等)下，对所有方法进行比较。结果如下表所示。我们可以看到，我们的M3D-DCNN方法比其他三种方法有更好或相当的性能。

Conclusion

　　本文提出了一种新的多尺度三维深度卷积神经网络(M3D-DCNN)，该网络可以端到端从HSI数据中联合学习二维多尺度空间特征和一维光谱特征。与其他最先进的方法相比，我们在标准数据集上取得了更好或相当的性能。在未来的工作中，我们将探索更有效的数据增强方法来克服数据的限制。此外，更强大的网络架构设计也值得关注。