• 1. 卷积神经网络（LeNet）
  • 1.1 LeNet

1. 卷积神经网络（LeNet）

\(LeNet\) 最早的卷积神经网络之一（\(1989\) 年提出）。用于银行支票上手写数字识别（\(1998\) 年杨立坤教授提出）。

1.1 LeNet

\(LeNet\) \((LeNet-5)\) 由两部分组成：

• 卷积编码器：由 \(2\) 个卷积层。
• 全连接层密集块：由 \(3\) 个全连接层组成。

\(LeNet-5\) 网络由 \(2\) 个卷积层、\(2\) 个池化层（下采样）以及 \(2\) 个全连接层、输出层共 \(7\) 层（不包括输入层）组成。先用卷积层学习图片空间信息，然后通过池化层降低图片敏感度，最后用全连接层来转换到类别空间。

每个卷积块中的基本单元是一个卷积层、一个 \(sigmoid\) 激活函数和平均池化层（虽然 \(ReLU\) 和最大池化层更有效，但当时没出现）。

第一个卷积层有 \(6\) 个输出通道，第二个卷积层有 \(16\) 个输出通道。卷积核大小 \(5 \times 5\)、池化窗口 \(2 \times 2\)、步长 \(stride=2\)。

卷积的输出形状由批量大小、通道数、高度、宽度决定。