首页 > 其他分享 >神经网络的发展历史

神经网络的发展历史

时间:2022-09-05 12:11:07浏览次数:47  
标签:历史 发展 RNN DNN MLP 神经网络 CNN 隐藏

 1、三代神经网络的发展

第一代神经网络:感知器(1950s)

第一代神经网络又称为感知机,在1950年左右被提出来,算法分为输入层和输出层,输入和输出之间为线性关系,感知机无法处理非线性模型,即不能解决线性不可分的问题。

第二代神经网络:多层感知器MLP(1980s)

第二代神经网络为多层感知机(MLP),在1980年左右Rumelhart、Williams等人提出,和第一代相比,在中间加了多个隐藏层,隐藏层可以引入非线性结构,能够解决第一代神经网络面临的线性不可分问题,从而能够处理非线性问题。

第三代神经网络:深度神经网络(2010s)

MLP能够解决线性不可分问题,但是隐藏层的引入也使得MLP变得复杂,由于梯度消失的问题,MLP难以训练,直到2006年Hinton采取无监督预训练(Pre-Training)的方法解决了梯度消失的问题,使得深度神经网络变得可训练,自此逐步开启了第三代神经网络。

第三代神经网络主要包括DNN、RNN、CNN等。

2、DNN:深度神经网络

DNN和传统意义上的神经网络(NN)在结构上并无大的差别,主要是层数增加了,并且解决了不可训练的问题。

 

DNN最大的问题是只能看到预先设定的长度的数据,对于语音和语言等前后相关的时序信号的表达能力还是有限的,基于此提出了RNN模型,即递归神经网络。

3、RNN:递归神经网络

DNN存在的问题是:无法对时间序列上的变化进行建模。因为DNN的隐藏层只能接收当前时刻上一层的输入。

在RNN中。神经元的输出可以在下一时刻作用到本身,也就是说,RNN的隐藏层不仅可以接收到来自当前时刻上一层的输入,还可以接收上一时刻当前隐藏层的输入。

RNN的这种变化使得神经网络具有了历史记忆功能,原则上可以看到无穷长的历史信息,可以用来处理时间序列问题,例如连续的语音、连续的手写文字等。

 

 4、CNN:卷积神经网络

卷积神经网络是为了模拟人的视觉神经系统提出来的,广泛应用于图像识别等领域。

以CNN做人脸识别任务为例,先得到一些像素信息,再往上层得到一些边界信息,然后再往上提取就是一些人脸的部件信息,包括眼睛、耳朵、眉毛、嘴巴等,最后是人脸识别,这整个过程和人的视觉神经系统是非常相似的。

CNN网络结构包括输入层、隐藏层、输出层等,隐藏层由卷积层、池化层、全连接层等组成。

 参考

https://www.cnblogs.com/pinard/p/6418668.html

https://zhuanlan.zhihu.com/p/51241366

https://zhuanlan.zhihu.com/p/55838329

 

标签:历史,发展,RNN,DNN,MLP,神经网络,CNN,隐藏
From: https://www.cnblogs.com/init0ne/p/16627688.html

相关文章

  • 推荐系统!基于tensorflow搭建混合神经网络精准推荐! ⛵
    ......
  • 世界模型、薛定谔猫和神经网络之间有什么联系?
    世界模型、薛定谔猫和神经网络之间有什么联系?资源几个世纪以来,好奇的头脑一直在试图破解我们周围世界的结构。大多数人都会同意,任何科学分支都遵循相同的目标——试图......
  • 前馈神经网络
    神经元一个神经元的结构如下:用数学公式表示为:\[\begin{aligned}a&=f(\sum_{d=1}^{D}w_{d}x_{d}+b)\\&=f(\boldsymbol{w}^{\top}\boldsymbol{x}+b)\\\end{al......
  • lightdb使用一条sql实现高性能事务一致性归历史
    相比insertselect,delete,如下:--lightdb专有oracle匿名块写法BEGINTRANSACTIONISOLATIONLEVELREPEATABLEREAD;insertintoxxselectxxfromyywhereid<xxx;......
  • 神经网络求解RL
    神经网络解决连续状态空间(或者状态很多的情况)经验回放使得神经网络更拟合打乱状态之间的关联固定q多加一个q预测值的神经网络一段时间才会改变以此固定q让强化学......
  • git 重写历史
    aliases:[]tags:[git,blog]link:date:2022-08-30目录aliases:[]tags:[git,blog]git重写历史提交信息修改最新log修改多个提交信息参考链接git重写历史提交信......
  • 神经网络的学习与泛化能力
    一、学习能力,指在训练集上精度。二、泛化能力,指在测试集上精度。对于一个大型神经网络在一个大数据集上跑,LOSS持续不降,第一步先减小数据量,比方说只在单张图片上跑,观察每......
  • 神经网络
    普通的神经网络普通神经网络有三个部分,输入层x,隐藏层h,输出层oCNN循环神经网络(RNN)RNN的每一个时序是一个前馈神经网络,但是为了在每一个时刻都包含前边时序的信息,所以RN......
  • Linux命令-按照与使用(10)linux清空历史命令(history)
    前言在Linux系统的终端中,默认保存命令执行记录,当执行敏感信息后就需要清除这些痕迹。一、清空当前历史命令history-c该命令可以清空当前登录会话的所有执行命令,但不......
  • 使用 Python 保存和显示计算历史
    使用Python保存和显示计算历史仅使用Python显示计算历史的一种非常流行且简单的方法编写一个简单的算术计算器很容易。但是编写一个可以保存和显示计算器历史的计算......