RNN
RNN（循环神经网络）是一类用于处理序列数据的神经网络
会产生梯度爆炸或者梯度消失（取决于使用的激活函数）
解决梯度消失
1 激活函数tan函数换成Relu函数
2改变传播结构，比如lstm
Lstm
lstm是rnn的一种变体
LSTM网络一定程度上解决了梯度消失的问题。只能说一定程度上，过长的序列还是会出现“梯度消失”，所以LSTM叫长一点的“短时记忆”。
长短时记忆网络能够学习复杂的序列，比如：像莎士比亚一样写作，或者合成简单的音乐。值得注意的是，这些门结构中的每一个都对前一个神经元中的记忆单元赋有权重，所以一般需要更多的资源来运行。
ANN
人工神经网络ANN
图解ANN和RNN和LSTM
