神经网络

普通的神经网络

普通神经网络有三个部分，输入层x，隐藏层h，输出层o

CNN

循环神经网络（RNN）

RNN的每一个时序是一个前馈神经网络，但是为了在每一个时刻都包含前边时序的信息，所以RNN的每个时序共享了隐藏层，即当前时刻的输入不仅包含了当前时刻的词，还包含了前一时刻的隐藏层的输出。