论文：https://arxiv.org/abs/1602.07261
代码：https://github.com/gu-yan/mlAlgorithms/blob/master/inception_impl/Inception_resnet_v2_temsorflow.py
先贴出模型：
Inception V4：https://raw.githubusercontent.com/titu1994/Inception-v4/master/Architectures/Inception-v4.png
Inecption Res-v2 ：
Residual连接训练更深的网络变得容易。Inception结构也使得网络变深。将Residual连接添加到Inception结构中，就可以用残差网络来训练Inception，且保留计算的高效性。
Inception结构最初由GoogLeNet引入：
- -----------------------------------------------------------------------------------------------------------------
- [v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842
- GoogLeNet叫做Inception-v1，Inception v1的网络，将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面使用 MLPConv 和全局平均池化，扩宽卷积层网络宽度，增加了网络对尺度的适应性；；
- -------------------------------------------------------------------------------------------------------------------
- [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error, http://arxiv.org/abs/1502.03167
- Inception-v2的网络在v1的基础上，进行了改进，一方面了加入了Batch Normalization，代替 Dropout 和 LRN，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯，其正则化的效果让大型卷积网络的训练速度加快很多倍，同时收敛后的分类准确率也可以得到大幅提高；另外一方面学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，也加速计算；
- -----------------------------------------------------------------------------------------------------------------
- [v3] Rethinking the Inception Architecture for Computer Vision, 3.5% test error, http://arxiv.org/abs/1512.00567
- Inception-v3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个较大的conv拆成2个较小conv，使得网络深度进一步增加，增加了网络的非线性，还有值得注意的地方是网络输入从224x224变为了299x299，更加精细设计了35x35/17x17/8x8的模块；
- -----------------------------------------------------------------------------------------------------------------
- [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error, http://arxiv.org/abs/1602.07261
- Inception-v4研究了Inception模块结合Residual Connection能不能有改进？发现ResNet的结构可以极大地加速训练，同时性能也有提升，得到一个Inception-ResNet v2网络，同时还设计了一个更深更优化的Inception v4模型，能达到与Inception-ResNet v2相媲美的性能
- -----------------------------------------------------------------------------------------------------------------
Inception-v4共有四种结构：（其中k,l,m,n表示filter bank size）
1、不包含Residual connection结构的；
2、包含Residual connection结构的；
3、Inception-ResNet-v1
4、Inception-ResNet-v2。
缩放Residuals
当卷积核个数超过1000时，训练将会变得不稳定，在训练的早期，网络“died”。这是缩小Residuals有助于稳定训练，缩小因子介于0.1到0.3。
He在训练Residual Net时也发现这个问题，提出了“two phase”训练。首先“warm up”，使用较小的学习率。接着再使用较大的学习率。
训练方法
ϵ=1.0。
学习率为0.045，每2个epoch缩小为原理的0.94。
实验结果
-----------------------------------------------------------------------END------------------------------------------------------------------------------
到最后，我有一个Question：
如何来设计这些inception啊，是有什么依据呢？还是逐个实验呢？需大牛解答~~~