LSTM计算分析

普通的RNN，中间循环的就是一个tanh激活函数

LSTM也具有这种链式结构，但重复模块具有不同的结构。有四个神经网络层，它们以一种非常特殊的方式相互作用，而不是只有一个单独的神经网络层。

LSTM (Long Short-Term Memory)也称长短时记忆结构,它是传统RNN的变体,与经典RNN相比能够有效捕捉长序列之间的语义关联缓解梯度消失或爆炸现象.

核心结构可以分为四个部分:

• 遗忘门 （forget gate），它决定了上一时刻的单元状态c_t-1有多少保留到当前时刻；
• 输入门 （input gate），它决定了当前时刻网络的输入c’_t有多少保存到新的单元状态c_t中。
• 细胞状态  
• 输出门 （output gate），它利用当前时刻单元状态cn对hn的输出进行控制。

遗忘门就是控制LSTM的长时记忆部分，把以前的记忆和现在发生的事情做一次融合，记住重要的信息，忘记不重要的信息。

上面也提到了短时记忆就是把上一步的输出h_(t-1)和当前输入X_t做一次拼接 [X_t,h_(t-1)],有了拼接的输入信息后，我们就做一次全连接层FC,然后对结果做sigmod激活处理，最后与长时记忆C(t-1) 做一次乘积

从上面的描述不难看出，参数就在全连接产生的参数 Wf 和 bf,这样说吧，整个LSTM的参数是由4个全连接层产生的

输入也就是词向量为200维，每个token用一个200的向量表示 即 X_t 

输出ht为100维的向量， 则 [X_t,h_(t-1)]=300维向量，即1×300

则 W_f 为 300 × 100的矩阵 W_f ·  [X_t,h_(t-1)] = 1 ×300 · 300 ×100 = 1 × 100  然后进行向量的sigmoid。也就是上次来的细胞状态遗忘分数

输入门：当前的信息是不是重要的，如果重要的，就多记住一些，如果是不重要的就少记住一些

输入们和我们的理解东西也类似，这里引入了一个细胞状态的概念C'(t),就是有多少信息保存到细胞状态中，输入的和遗忘门的信息和输出们都一样，都是把上一步的输出h(t-1)和当前输入Xt做一次拼接 [Xt,h(t-1)]，然后做一次全连接，所不同的是细胞状态的激活函数是tanh。其他的都是sigmod.

输入门还有另外一块输入信息i(t)，这一部分就是拼接后的输入信息做一次全连接，然后经过sigmod激活函数  本次细胞状态记忆的分数

根据上面遗忘门的计算

 i(t)   C'(t)   的结构也是 1 × 100

长时记忆 C(t)

• 经过了遗忘门和输入门后，长时记忆C(t)就可以计算出来了，计算比较简单，就是把遗忘门和输入门的结果做一次加法

我们用公式说明就是:  注意不是矩阵乘，是对应位置乘

C(t) = ft*Ct-1 + it * C`t

对位置乘，不是矩阵乘 

Ct = 1 × 100 * 1 × 100 +  1 × 100 * 1 × 100 =  1 × 100 + 1 × 100 = 1 × 100

输出门

o_t 也是 1 × 100

C_t经过tanh后也是  1 × 100

h_t 为两者的对应位置乘

即 h_t = 1 × 100 * 1 × 100 = 1 × 100

计算完成后进行下一个字的计算

参考资料： 

Understanding LSTM Networks -- colah's blog

理解 LSTM 网络 - Alan Lee

LSTM单元结构及参数计算 - 知乎 (zhihu.com)