首页 > 其他分享 >LeNet-5卷积神经网络框架介绍

LeNet-5卷积神经网络框架介绍

时间:2024-08-14 11:38:21浏览次数:12  
标签:池化层 卷积 S2 120 神经网络 LeNet C3

1.LeNet-5结构总览

 LeNet-5总体框架结构如下图所示,具体层级为INPUT->C1->S2->C3->S4->C5->F6->OUTPUT。

C : 卷积层
S : 池化层

 下文对网络框架的每一层做出详细说明

2.输入层INPUT

 在LeNet-5网络中,输入数据采用32*32的二维数组存储,当然此处只做举例说明,具体的图像大小可以根据项目的具体需求自行确定。如果采用torchvision.dataset.MNIST数据集用于训练该网络,那么在编程时有一个细节要注意,要给该数据集添加上颜色通道的维度(灰度图即为1维通道),代码形式则为train.data.unsqueeze(1)/255.0

3.卷积层C1

 如下图所示,有六个大小为55的卷积核对输入图像进行卷积处理,padding=0,stride=1。由32-5+1可得输出为2828的矩阵,再由有六个卷积核进行卷积可知C1卷积层有六个特征输出。
 上述文字大致全面的概述了C1卷积层内部的结构和运作原理。相较于深度神经网络DNN每层之间的全连接模式,卷积神经网络采用的是通过卷积核在输入数据上的滑动加上对应权重求和的方式,也就是在输入数据上的权重共享方式,不仅大大实现了层与层之间连接数的减少,而且保留了输入数据的位置特征。

4.池化层S2

 池化层作用为降低数据的维度。池化层S2由六个2x2的矩阵组成,padding=0,stride=2。经过池化层后,输出变为6特征14x14的矩阵。

5.卷积层C3

C3层是卷积层,由16个5x5xn的卷积核构成。输入为6个14x14的矩阵,输出为16个10x10的矩阵。与传统卷积不同的是并不是每一个卷积核都覆盖S2的所有输出通道,具体见下表所示:

C3输出层的前六个特征(0-5)分别由S2相邻的三通道与前6个卷积核卷积而成。其余的于此类推,上表已经清晰的展示。

6.池化层S4

S4 层与 S2 一样也是降采样层,使用 16 个 2×2 大小的卷积核进行池化,padding=0,stride=2,得到 16 个 5×5 大小的特征图:10/2=5。
参数个数:(1+1)x16=32。
连接数 :(2x2+1)x16x5x5 = 2000。

7.C5 层

C5 层是卷积层,使用 120 个 5×5x16 大小的卷积核,padding=0,stride=1进行卷积,得到 120 个 1×1 大小的特征图:5-5+1=1。即相当于 120 个神经元的全连接层。
值得注意的是,与C3层不同,这里120个卷积核都与S4的16个通道层进行卷积操作。
参数个数:(5516+1)120=48120。
连接数:48120
1*1=48120。

8.F6层

F6 是全连接层,共有 84 个神经元,与 C5 层进行全连接,即每个神经元都与 C5 层的 120 个特征图相连。计算输入向量和权重向量之间的点积,再加上一个偏置,结果通过 sigmoid 函数输出。
F6 层有 84 个节点,对应于一个 7x12 的比特图,-1 表示白色,1 表示黑色,这样每个符号的比特图的黑白色就对应于一个编码。该层的训练参数和连接数是(120 + 1)x84=10164。

标签:池化层,卷积,S2,120,神经网络,LeNet,C3
From: https://www.cnblogs.com/mofeisite/p/18357398

相关文章

  • 神经网络之卷积篇:详解卷积步长(Strided convolutions)
    详解卷积步长卷积中的步幅是另一个构建卷积神经网络的基本操作,让向展示一个例子。如果想用3×3的过滤器卷积这个7×7的图像,和之前不同的是,把步幅设置成了2。还和之前一样取左上方的3×3区域的元素的乘积,再加起来,最后结果为91。只是之前移动蓝框的步长是1,现在移动的步长是2,让......
  • 神经网络(RNN)预测走地角球数以及角球玩法计算公式
    文章目录前言一、角球的基本玩法与规则?1.1角球的判罚1.1.1角球的判罚球的整体越过球门线1.1.2最后触球者为守方队员1.2角球执行流程1.2.1犯规行为1.2.2角球执行方式:1.2.3直接得分:1.3角球玩法二、角球计算公式1.示例一【全赢】2.示例二【走水】3.示例三【全输......
  • 控制SD图片生成的神经网络模型--ControlNet
    ControlNet是一个通过添加额外条件来控制SD中图像生成的神经网络,可以使用ControlNet来做以下事情:指定人体姿势。从另一幅图像复制图片的构图。生成参考图片类似的图像。将涂鸦图片变成专业的图像。ControlNet是用于控制SD的神经网络模型。您可以将ControlNet......
  • 神经网络之卷积篇:详解Padding
    详解Padding为了构建深度神经网络,需要学会使用的一个基本的卷积操作就是padding,让来看看它是如何工作的。如果用一个3×3的过滤器卷积一个6×6的图像,最后会得到一个4×4的输出,也就是一个4×4矩阵。那是因为3×3过滤器在6×6矩阵中,只可能有4×4种可能的位置。这背后的数学解释是......
  • 人人都能搞定的大模型原理 - 神经网络
    ​人工智能的发展起步于1950年,期间经历了各种里程碑和变革,与此相关的神经网络技术也从最初的单层感知到复杂的层级和卷积神经网络一路创新和变革,不断推动人工智能领域的发展,直到 2022 年 ChatGPT 的问世,彻底引爆了大众的目光。人工智能技术经历了漫长的迭代过程,无论如何变革......
  • PyTorch:从零实现一个双向循环神经网络
    从零实现一个双向循环神经网络(Bi-directionalRecurrentNeuralNetwork,Bi-RNN)从零开始,可以帮助我们深入理解RNN的机制。以下是实现步骤:定义RNN单元:实现一个简单的RNN单元,能够处理单个时间步长的数据。定义双向RNN:实现前向和后向的RNN,组合它们的输出。定义损失函......
  • 积性函数和狄利克雷卷积学习笔记
    积性函数和狄利克雷卷积学习笔记积性函数定义若函数\(f(x)\)满足\(f(ab)=f(a)f(b)\),其中\(a,b\)互质,我们称这个函数是积性函数。若\(a,b\)不互质则是完全积性函数。常见积性函数狄利克雷卷积定义也叫狄利克雷乘积。形如下式:\[h(n)=\sum_{ab=n,a>0,b>0}f(a)g(b)\]......
  • 用电量预测 | 基于BiLSTM双向长短期记忆神经网络算法的用电量预测附matlab完整代码
    用电量预测|基于BiLSTM双向长短期记忆神经网络算法的用电量预测附matlab完整代码数据收集:收集历史用电量数据,包括时间戳和相应的用电量值。选择模型:选择合适的模型进行预测,可以根据数据特点和需求选择合适的模型。训练模型:使用历史数据训练模型,并根据评估指标来调整......
  • 混合策略改进的蜣螂算法(IDBO)优化BP神经网络
    目录0引言1数学模型2模型对比3matlab代码3.1改进的主代码3.2IDBO-BP4视频讲解0引言针对DBO算法全局探索能力不足、易陷入局部最优以及收敛精度不理想等问题,多为学者提出了混合多策略改进的蜣螂优化算法(IDBO)。主要混合策略改进首先是采用混沌映射结合随机反向......
  • 【状态估计】【扩展卡尔曼滤波算法的神经网络训练】BP神经网络、扩展卡尔曼滤波EKF+BP
    ......