AlexNet
1. Introduction
提升目标识别的模型的表现，需要大规模的数据集，更强大的模型以及更好的避免过拟合的方法。当前模型在小的数据集上对简单的识别任务已经能表现得很好了（MNITST数据集error rate可以低于0.3%），现实的场景中的目标更复杂，需要更大的数据集。论文采用CNN模型，并使用GPU加速模型训练。
论文的主要贡献：在imagenet上训练了一个较大的卷积神经网络，实现了GPU上优化的2D卷积操作以及其他一些操作，并且使用了一些避免过拟合的技术。
最后指出模型大小受限与当前GPU的内存大小以及能忍受的训练时间（论文提出的网络在两块3G的GTX 580上训练了五到六天），并指出当出现更快的GPU和更大的数据集后模型将能很容易够达到更好的效果
2. The Dataset
介绍ImageNet数据集，以及ILSVRC比赛所使用的子数据集。最后说明了数据的预处理方式，即裁剪至固定大小，并减去像素值均值，并未采用其他任何处理方式。
3.The Architecture
- ReLU非线性层比其他会饱和的非线性层如tanh，sgmoid训练速度更快
- 模型在两个GPU上训练，并且只在特定层上两个GPU进行信息交互
- 使用了local response normalization, 使用某个神经元的相邻的神经元的值对该神经元进行归一化，应用在ReLU非线性层后面
- 使用overlapping pooling，降低了一些错误率（size=3,stride=2&size=2,stride=2）
- 整体架构
4. Reducing Overfitting
论文提出的模型有6千万的参数，在ILSVRC数据集上会产生严重的过拟合现象
- Data Augmentation: ①图像随机裁剪和图像水平翻转（对应的，测试的时候会在原图像和水平翻转的图像裁剪10张图像，并对预测结果取平均）；②对RGB通道作PCA，将主成分以一定比例添加到像素值上（这一部分不太理解，原文中说这里利用了自然影像的重要属性，目标种类在光照强度和颜色的变化时具有不变性）
- Dropout: 可以从模型集成的角度考虑，每次丢弃部分神经元相当于每次只训练了网络的一个子网络；因为每个神经元无法依赖其他某个的特定神经元，这迫使神经元学习更鲁棒独立的特征。
5. Details of learning
使用随机梯度下降，momentum=0.9，weight decay=0.0005；学习率根据训练情况进行手动调节，每次缩小10倍
标签：训练,模型,论文,笔记,GPU,数据,AlexNet,神经元 From： https://www.cnblogs.com/Vincent-luo/p/16602155.html