目录
一、神经网络的历程
1.传统神经网络存在的问题
- 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。
- 因为传统神经网络输入数据的时候是同时输入,同一层的数据之间没有顺序关系,所以对于连续性的数据没有很好的预测效果
2.提出一种新的神经网络
- 为了解决传统神经网络的问题,提出了一种新的神经网络——RNN(Recurrent Neural Network)在处理序列输入时具有记忆性,可以保留之前输入的信息并继续作为后续输入的一部分进行计算。
二、RNN基本结构
1.RNN基本结构
- 下方蓝色的是输入,
- 中间的矩形是隐藏层,
- 上方紫色的是输出层
- 看成传统神经网络转了个方向比较好理解
2.RNN的独特结构
- RNN叫循环神经网络
- 那么它的循环在哪呢,就是它的独特结构
- 最开始的时候会有一个类似于偏置项的h0
- h0乘以一个w矩阵然后与输入的数据x乘以一个u矩阵得到的结果再加上偏置项然后传入激活函数得到h1
- h1乘以一个v矩阵加上偏置项c的结果传入交叉熵激活函数,得到输出的y1
- 依次循环下去,得到最终的yn
- 这个yn就是结合了整个数据的特征
- 注意:
- 每一次训练中计算用的u,v,w,b都是一样的 ,训练完反向传播会进行更新
- RNN结构中输入是x1, x2, .....xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的
3.RNN的局限性
- 当出现“我的职业是程序员,…,我最擅长的是电脑”。当需要预测最后的词“电脑”。
- 当前的信息建议下一个词可能是一种技能,但是如果我们需要弄清楚是什么技能,需要先前提到的离当前位置很远的“职业是程序员”的上下文。
- 这说明相关信息和当前预测位置之间的间隔就变得相当的大。
- 在理论上,RNN绝对可以处理这样的长期依赖问题。
- 人们可以仔细挑选参数来解决这类问题中的最初级形式,但在实践中,RNN则没法太好的学习到这些知识。
- 这使得模型难以学习长距离依赖关系
- 原因是:梯度会随着时间的推移不断下降减少,而当梯度值变得非常小时,就不会继续学习。