Transformer模型采用了一个特殊的神经网络架构，它主要包括编码器（Encoder）和解码器（Decoder）两个部分。这一架构是Transformer的关键组成部分，它被广泛用于自然语言处理（NLP）等任务。
编码器（Encoder）：
编码器是Transformer模型的第一个部分，用于处理输入序列。它通常包括多个相同的编码器层，每个编码器层包含以下子层：
- 前馈神经网络（Feedforward Neural Network）：用于处理自注意力层的输出。
- "Add & Norm" 层：是指在Transformer模型的各个子层之间插入的操作，通常用于规范化和增强模型的性能。它包括两个主要步骤：加法操作（Addition）和归一化操作
- 多头注意力（Multi-Head Attention）：在自注意力层中，可以使用多头注意力来允许模型关注不同方面的输入信息。多头注意力允许模型并行地学习多种不同的表示。
具体来说，Add & Norm层的操作如下：
-
加法操作（Addition）：在这一步骤中，模型将子层的输出与输入相加。这有助于信息在子层之间的流动，同时也可以避免梯度消失或爆炸问题，有助于训练深层网络。
-
归一化操作（Normalization）：在加法操作之后，模型进行归一化，通常使用层归一化（Layer Normalization）或批归一化（Batch Normalization）等方法。这有助于稳定训练过程，确保梯度流动，并提高模型的性能。
解码器（Decoder）：
解码器通常用于序列到序列的任务，例如机器翻译。它也包括多个相同的解码器层，每个解码器层包含以下子层：
- 前馈神经网络（Feedforward Neural Network）：用于处理自注意力层和编码器-解码器注意力层的输出。
- "Add & Norm" 层：是指在Transformer模型的各个子层之间插入的操作，通常用于规范化和增强模型的性能。它包括两个主要步骤：加法操作（Addition）和归一化操作
- 多头注意力（Multi-Head Attention）：在自注意力层中，可以使用多头注意力来允许模型关注不同方面的输入信息。多头注意力允许模型并行地学习多种不同的表示。
- Masked Multi-Head Attention（掩码多头自注意力）是Transformer模型中自注意力机制的一种变体，它在自注意力计算中引入了掩码（mask），用于处理序列数据时的不同需求
Transformer和卷积神经网络（CNN）
Transformer和卷积神经网络（CNN）是两种不同的深度学习架构，用于不同类型的任务和数据处理。
虽然它们在某些方面有一些相似之处，但它们的结构和工作方式有重要的差异。
主要区别如下：
-
自注意力机制 vs. 卷积操作:
- Transformer模型的核心是自注意力机制，它允许模型在输入序列中的不同位置之间建立依赖关系，以更好地捕获上下文信息。自注意力机制可以在输入序列中动态地分配注意力。
- 卷积神经网络使用卷积操作来提取局部特征，通常用于图像处理。卷积操作是固定的，不像自注意力机制那样动态分配注意力。
-
任务领域:
- Transformer最初被广泛用于自然语言处理任务，如机器翻译、文本生成和文本分类。后来，它也在其他领域得到了应用，如计算机视觉和语音处理。
- CNN最初设计用于图像处理，但它们也用于文本分类、对象检测等任务。
-
序列处理:
- Transformer在处理序列数据时非常强大，因为它可以处理变长的输入序列，并且能够捕获长距离的依赖关系。这使得它在自然语言处理中表现出色。
- CNN通常用于处理固定大小的输入，例如图像，而不适用于可变长度的序列数据。