图片：手写数字的黑白照片
大小：28*28
样本数：69K
类数：10
AlexNet
- 更深更大的LeNet
- 主要改进：
- 丢弃法
- ReLu
- MaxPooling
- 计算机视觉方法论的改变：通过CNN学习特征->Softmax回归
AlexNet架构
image(3x224x224)
11x11 Conv(96), stride 4
更大的核窗口、通道数（模式）、步长，因为图片更大了
3x3 MaxPool, stride 2
更大的池化窗口，使用最大池化层
5x5 Conv(256), pad 2
应该识别更多的模式->更大的数据通道
3x3 MaxPool, stride 2
5x5 Conv(384), pad 1
5x5 Conv(384), pad 1
5x5 Conv(384), pad 1
新加了3层卷积层
3x3 MaxPool, stride 2
Dense(4096)
做1000类的分类
Dense(4096)
Dense(1000)
更多细节
- 激活函数从sigmoid变到了ReLu (减缓梯度消失)
- 隐藏全连接层后加入了丢弃层
- 数据增强