聊聊Transform模型

从之前的RNN系列到现在的Transformer模型，是一个演进的过程，技术的实现与迭代并不是一蹴而就，而是一个持续演进的历程。如果一开始就从Tranformer的模型机制来学习，知识的不全面以及欠缺就会导致懵逼甚至看不懂又不理解。
RNN系列：
聊聊RNN&LSTM
聊聊RNN与seq2seq
聊聊RNN与Attention

以下内容摘自《BERT基础教程：Transformer大模型实战 》

概述

循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。
为了解决这个问题，一个名为Transformer的新架构应运而生。从那以后，Transformer被应用到多个自然语言处理方向，到目前为止还未有新的架构能够将其替代。可以说，它的出现是自然语言处理领域的突破，并为新的革命性架构（BERT、GPT-3、T5等）打下了理论基础。
Transformer由编码器和解码器两部分组成。首先，向编码器输入一句话（原句），让其学习这句话的特征，再将特征作为输入传输给解码器。最后，此特征会通过解码器生成输出句（目标句）。
假设我们需要将一个句子从英文翻译为法文。如图所示，首先，我们需要将这个英文句子（原句）输进编码器。编码器将提取英文句子的特征并提供给解码器。最后，解码器通过特征完成法文句子（目标句）的翻译。

具体模型结构如下图。

编码器

Transformer中的编码器不止一个，而是由一组编码器串联而成。一个编码器的输出作为下一个编码器的输入。在图中有个编码器，每一个编码器都从下方接收数据，再输出给上方。以此类推，原句中的特征会由最后一个编码器输出。编码器模块的主要功能就是提取原句中的特征。

编码器内部又是由多头注意力层与前馈网络层两部分组成。

多头注意力层

引入自注意力机制

多头注意力层又是依赖于自注意力机制实现。
请看下面的例句：
A dog ate the food because it was hungry（一只狗吃了食物，因为它很饿）
例句中的代词it（它）可以指代dog（狗）或者food（食物）。当读这段文字的时候，我们自然而然地认为it指代的是dog，而不是food。但是当计算机模型在面对这两种选择时该如何决定呢？这时，自注意力机制有助于解决这个问题。
模型首先需要计算出单词A的特征值，其次计算dog的特征值，然后计算ate的特征值，以此类推。当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的关系。模型可以通过词与词之间的关系来更好地理解当前词的意思。
比如，当计算it的特征值时，模型会将it与句子中的其他词一一关联，以便更好地理解它的意思。
如图所示，it的特征值由它本身与句子中其他词的关系计算所得。通过关系连线，模型可以明确知道原句中it所指代的是dog而不是food，这是因为it与dog的关系更紧密，关系连线相较于其他词也更粗。

实现原理

为简单起见，我们假设输入句（原句）为I am good（我很好）。首先，我们将每个词转化为其对应的词嵌入向量。需要注意的是，嵌入只是词的特征向量，这个特征向量也是需要通过训练获得的。单词I的词嵌入向量可以用来表示，相应地，am为，good为，即：

通过输入矩阵X，可以看出，矩阵的第一行表示单词I的词嵌入向量。以此类推，第二行对应单词am的词嵌入向量，第三行对应单词good的词嵌入向量。所以矩阵X的维度为[句子的长度×词嵌入向量维度]。原句的长度为3，假设词嵌入向量维度为512，那么输入矩阵的维度就是[3×512]；该矩阵对应的张量表示，可以拆分如下：

a = numpy.array([[1.76, 2.22, ..., 6.66],
     [7.77, 0.631,..., 5.35],
     [11.44, 10.10,..., 3.33]
    ])

增加额外的三个权重矩阵，分别为；用输入矩阵X分别乘以，依次创建出查询矩阵Q、键矩阵K、值矩阵V。
需要注意的是，权重矩阵的初始值完全是随机的，但最优值则需要通过训练所得。
将输入矩阵[插图]分别乘以后，我们就可以得出对应的查询矩阵、键矩阵和值矩阵。

Q，K，V三个向量矩阵，代表了对输入序列中的每个位置或词的不同信息。

1. Query向量 (Q)：
   • Query向量是自注意力机制中用于询问其他位置或词信息的向量。
   • 每个位置或词都有一个对应的Query向量，该向量用于查询其他位置或词的重要程度，以便计算每个位置或词的注意力权重。
2. Key向量 (K)：
   • Key向量用于标识每个位置或词的重要特征。
   • 每个位置或词都有一个对应的Key向量，该向量对应了该位置或词的特征，用于与Query向量比较，以计算注意力权重。
3. Value向量 (V)：
   • Value向量用于存储每个位置或词的信息。
   • 每个位置或词都有一个对应的Value向量，该向量包含了该位置或词的信息，用于根据注意力权重加权求和得到该位置或词的输出。

理解自注意力机制

第一步

要计算一个词的特征值，自注意力机制会使该词与给定句子中的所有词联系起来。还是以I am good这句话为例。为了计算单词I的特征值，我们将单词I与句子中的所有单词一一关联，如图所示。

自注意力机制首先要计算查询矩阵Q与键矩阵K的点积：

通过计算查询的点积，可以了解单词I与句子中的所有单词的相似度。
综上所述，计算查询矩阵[插图]与键矩阵[插图]的点积，从而得到相似度分数。这有助于我们了解句子中每个词与所有其他词的相似度。

第二步

自注意力机制的第2步是将矩阵除以键向量维度的平方根。这样做的目的主要是获得稳定的梯度。

为什么要除以dk(键向量维度的平方根)，其实是在做一个标准化以及防止softmax函数梯度消失的处理。
参考：为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）

第三步

目前所得的相似度分数尚未被归一化，我们需要使用softmax函数对其进行归一化处理。如图所示，应用softmax函数将使数值分布在0到1的范围内，且每一行的所有数之和等于1。

第四步

至此，我们计算了查询矩阵与键矩阵的点积，得到了分数，然后用softmax函数将分数归一化。自注意力机制的最后一步是计算注意力矩阵[插图]。注意力矩阵包含句子中每个单词的注意力值。它可以通过将分数矩阵softmax ()乘以值矩阵V得出，如图所示。

假设计算结果如下所示：

我们回过头去看之前的例句：A dog ate the food because it was hungry（一只狗吃了食物，因为它很饿）。在这里，it这个词表示dog。我们将按照前面的步骤来计算it这个词的自注意力值。假设计算过程如图所示。

可以看出，it这个词的自注意力值包含100%的值向量v2(dog)。这有助于模型理解it这个词实际上指的是dog而不是food。这也再次说明，通过自注意力机制，我们可以了解一个词与句子中所有词的相关程度。
综上所述，注意力矩阵Z由句子中所有单词的自注意力值组成，它的计算公式如下。

现将自注意力机制的计算步骤总结如下：

自注意力机制的计算流程图如图所示。

自注意力机制也被称为缩放点积注意力机制，这是因为其计算过程是先求查询矩阵与键矩阵的点积，再用dk对结果进行缩放。总结来说，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。

多头注意力

如上是单个注意力矩阵的计算流程。使用多头注意力的逻辑是这样的：使用多个注意力矩阵，而非单一的注意力矩阵，可以提高注意力矩阵的准确性。接着上述已计算的Z1注意力矩阵，接下来计算第二个注意力矩阵Z2。

同样，我们可以计算出h个注意力矩阵，将它们串联起来。然后，将结果乘以一个新的权重矩阵W，得出最终的注意力矩阵，如下所示。

如此设计，就形成了多头注意力层。

位置编码

还是以I am good（我很好）为例。在RNN模型中，句子是逐字送入学习网络的。换言之，首先把I作为输入，接下来是am，以此类推。通过逐字地接受输入，学习网络就能完全理解整个句子。然而，Transformer网络并不遵循递归循环的模式，而是并行输入有助于缩短训练时间，同时有利于学习长期依赖。
如果把输入矩阵X直接传给Transformer，那么模型是无法理解词序的。因此，需要添加一些表明词序（词的位置）的信息，以便神经网络能够理解句子的含义。所以，我们不能将输入矩阵直接传给Transformer。这里引入了一种叫作位置编码的技术，以达到上述目的。顾名思义，位置编码是指词在句子中的位置（词序）的编码。
位置编码矩阵[插图]的维度与输入矩阵[插图]的维度相同。在将输入矩阵直接传给Transformer之前，我们将使其包含位置编码。我们只需将位置编码矩阵P添加到输入矩阵X中，再将其作为输入送入神经网络，如图所示。这样一来，输入矩阵不仅有词的嵌入值，还有词在句子中的位置信息。

位置编码矩阵究竟是如何计算的呢？如下所示，Transformer论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：

在上面的等式中，pos表示该词在句子中的位置，i表示在输入矩阵中的位置。

前馈网络层

前馈网络由两个有ReLU激活函数的全连接层(Full Connection FC层)组成。前馈网络的参数在句子的不同位置上是相同的，但在不同的编码器模块上是不同的。

叠加和归一组件

同时连接一个子层的输入与输出。

• 同时连接多头注意力的输入与输出
• 同时连接前馈网络层的输入和输出

叠加和归一组件，包含一个残差连接层与层的归一化。层的归一化可以防止每层的值剧烈变化，从而提高模型的训练速度。

残差连接层

残差网络，主要是引入了一种称为“跳跃连接”的结构。所谓“跳跃连接”是指将前面层的输出通过一条“快速通道”直接传递到当前层之后。也就是说，当前层的输入不仅来自前一 层，还包含了前面层未修改的信息。
这种结构的效果是，每一层只需要学习输入和输出的差异部分，也就是“残差”。

在编码器模块中，残差连接层的作用可以概括为以下几点：

1. 梯度传播：
   • 残差连接使得梯度可以更容易地传播回较早的层，尤其在深度网络中。梯度可以通过跳跃连接传播到前面的层，减轻了梯度消失或梯度爆炸的影响。
2. 模型收敛速度：
   • 残差连接加速了模型的收敛速度，特别是对于深层网络。通过跳过层间的非线性变换，模型可以更快地逼近目标函数。
3. 模型简化和训练稳定性：
   • 残差连接简化了模型，使其更易于训练和调试。它允许每个模块集中学习残差，而不是必须直接拟合目标映射，这有助于减轻优化难度。
4. 避免信息丢失：
   • 残差连接确保了原始信息不会在网络中丢失。即使网络中的变换丢失了某些特征，残差连接仍可以恢复这些特征，从而有助于网络学习到更好的特征表示。

层的归一化

指的是层归一化（Layer Normalization）或批归一化（Batch Normalization），用于对模型的中间表示进行归一化，有助于加速训练、提高模型的稳定性和泛化能力。
具体来说，归一化层的作用如下：

1. 加速训练：
   • 归一化可以加速神经网络的训练过程。通过将每个特征的分布归一化为均值为0和方差为1，避免了特征值过大或过小，有助于梯度传播更顺利，加快了模型的收敛速度。
2. 提高模型稳定性：
   • 归一化可以增强模型对输入数据分布的稳定性，使得模型对输入的小变化不敏感，有助于模型更稳定地处理不同的输入数据。
3. 避免梯度消失或梯度爆炸：
   • 归一化有助于避免梯度消失或梯度爆炸问题。特别是对于深层网络，梯度消失或梯度爆炸很常见，而归一化可以一定程度上缓解这些问题。
4. 提高泛化能力：
   • 归一化有助于模型更好地泛化到未见过的数据上，减少了模型对数据分布的敏感度，从而提高了模型的泛化能力。

解码器

编码器计算了原句的特征值，解码器将特征值作为输入，最终生成目标。在每一步中，解码器将上一步新生成的单词与输入的词结合起来，并预测下一个单词。在解码器中，需要将输入转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。
当t=1时（t表示时间步），解码器的输入是，这表示句子的开始。解码器收到作为输入，生成目标句中的第一个词，即Je，如图所示。

如图所示，假设在时间步t=2，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。

同理，你可以推断出解码器在t=3时的预测结果。此时，解码器将、Je和vais（来自上一步）作为输入，并试图生成句子中的下一个单词，如图所示。

在每一步中，解码器都将上一步新生成的单词与输入的词结合起来，并预测下一个单词。因此，在最后一步（t=4），解码器将、Je、vais和bien作为输入，并试图生成句子中的下一个单词，如图所示。

一旦生成表示句子结束的标记，就意味着解码器已经完成了对目标句的生成工作。
在编码器部分，我们将输入转换为嵌入矩阵，并将位置编码添加到其中，然后将其作为输入送入编码器。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。

编码器最终输出生成的特征值，则是在解码器内部的多头注意力层引入了。这点要尤其注意。编码器的输出并不是直接作为解码器的输入。

一个解码器模块及其所有的组件如图所示。

从图中可以看到，解码器内部有3个子层。

• 带掩码的多头注意力层
• 多头注意力层
• 前馈网络层

与编码器模块相似，解码器模块也有多头注意力层和前馈网络层，但多了带掩码的多头注意力层。

带掩码的多头注意力层

假设传给解码器的输入句是Je vais bien。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。但这里有一个小问题。在测试期间，解码器只将上一步生成的词作为输入。
比如，在测试期间，当t=2时，解码器的输入中只有[, Je]，并没有任何其他词。因此，我们也需要以同样的方式来训练模型。模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。要做到这一点，我们可以掩盖后边所有还没有被模型预测的词。
如，我们想预测与相邻的单词。在这种情况下，模型应该只看到，所以我们应该掩盖后边的所有词。再比如，我们想预测Je后边的词。在这种情况下，模型应该只看到Je之前的词，所以我们应该掩盖Je后边的所有词。其他行同理，如图所示。

以矩阵的第1行为例，为了预测后边的词，模型不应该知道右边的所有词（因为在测试时不会有这些词）。因此，我们可以用-∞掩盖右边的所有词，如图所示：

接下来，让我们看矩阵的第2行。为了预测Je后边的词，模型不应该知道Je右边的所有词（因为在测试时不会有这些词）。

同理，我们可以掩盖vais右边的所有词

通过这种方式的处理，最终就可以通过之前的计算公式，算出来注意力矩阵Z

多头注意力层

下图展示了Transformer模型中的编码器和解码器。我们可以看到，每个解码器中的多头注意力层都有两个输入：一个来自带掩码的多头注意力层，另一个是编码器输出的特征值。

用 R 来表示编码器输出的特征值，用 M 来表示由带掩码的多头注意力层输出的注意力矩阵。
多头注意力机制的第1步是创建查询矩阵、键矩阵和值矩阵。而已知可以通过将输入矩阵乘以权重矩阵来创建查询矩阵、键矩阵和值矩阵。
在这里由于有两个输入矩阵，区别于之前只有一个输入矩阵的情况，要特殊的处理。
使用上一个子层获得的注意力矩阵M创建查询矩阵Q；使用编码器层输出的特征值R创建键矩阵与值矩阵。
计算图如下所示：

为什么要用 M 计算查询矩阵，而用 R 计算键矩阵和值矩阵呢？因为查询矩阵是从 M 求得的，所以本质上包含了目标句的特征。键矩阵和值矩阵则含有原句的特征，因为它们是用 R 计算的。

按照公式逐步计算
第1步是计算查询矩阵与键矩阵的点积。

通过计算，可以得出查询矩阵（目标句特征）与键矩阵（原句特征）的相似度。
计算多头注意力矩阵的下一步是将除以，然后应用softmax函数，得到分数矩阵。
接下来，我们将分数矩阵乘以值矩阵V，得到，即注意力矩阵Z

为了进一步理解，让我们看看Je这个词的自注意力值Z2是如何计算的，如图所示。

其实就是向量的点积运算。这个结果可以帮助模型理解目标词Je指代的是原词I。因为其计算分数中包含了98%的I。
同样，我们可以计算出h个注意力矩阵，将它们串联起来。然后，将结果乘以一个新的权重矩阵W，得出最终的注意力矩阵，如下所示。

前馈网络层

同编码器层的前馈网络层。

叠加与归一组件

同编码器层的叠加归一层。

概览

如下显示了两个解码器，将解码器1的所有组件完全展开。

(1) 首先，我们将解码器的输入转换为嵌入矩阵，然后将位置编码加入其中，并将其作为输入送入底层的解码器（解码器1）。
(2) 解码器收到输入，并将其发送给带掩码的多头注意力层，生成注意力矩阵M。
(3) 然后，将注意力矩阵M和编码器输出的特征值R作为多头注意力层（编码器−解码器注意力层）的输入，并再次输出新的注意力矩阵。
(4) 把从多头注意力层得到的注意力矩阵作为输入，送入前馈网络层。前馈网络层将注意力矩阵作为输入，并将解码后的特征作为输出。
(5) 最后，我们把从解码器1得到的输出作为输入，将其送入解码器2。
(6) 解码器2进行同样的处理，并输出目标句的特征。
我们可以将N个解码器层层堆叠起来。从最后的解码器得到的输出（解码后的特征）将是目标句的特征。接下来，我们将目标句的特征送入线性层和softmax层，通过概率得到预测的词。

整合编码器与解码器

带有编码器和解码器的Transformer架构如下所示。

从之前的RNN系列到现在的Transformer模型，是一个演进的过程，技术的实现与迭代并不是一蹴而就，而是一个持续演进的历程。如果一开始就从Tranformer的模型机制来学习，知识的不全面以及欠缺就会导致懵逼甚至看不懂又不理解。以下是我个人对Tranformer演进的理解：