咱们接着这个系列的上一篇文章继续：
政安晨：【深度学习处理实践】（八）—— 表示单词组的两种方法：集合和序列
https://blog.csdn.net/snowdenkeke/article/details/136762323
Transformer是一种架构，用于在自然语言处理（NLP）和其他任务中进行序列到序列（seq2seq）学习。它于2017年由Vaswani等人提出，成为深度学习领域的重要里程碑。
Transformer的核心思想是完全摒弃传统的循环神经网络（RNN）结构，并引入了自注意力机制来处理输入序列。它由编码器和解码器两部分组成，可用于多种任务，如机器翻译、文本生成和语言模型等。
编码器部分由多个相同的层组成，每层都包含一个多头自注意力机制和一个前馈神经网络。
自注意力机制允许模型在处理输入序列时关注不同位置的信息，而不像RNN那样依次处理。每个自注意力机制的输出被连接并输入到前馈神经网络中，以产生编码器的最终输出。
解码器部分与编码器类似，也由多个相同的层组成。除了自注意力机制和前馈神经网络外，每个解码器层还包含一个额外的自注意力机制，用于对编码器的输出进行注意。这样做的目的是在生成输出的同时，利用编码器的信息来提高模型的性能。
Transformer的训练使用了一种称为自回归的策略，即模型在生成目标序列时逐个预测。此外，Transformer还使用了残差连接和层归一化等技术，以加快训练过程和提高模型性能。
相较于传统的RNN模型，Transformer能够更好地处理长序列，且无需按顺序处理输入。其自注意力机制能够捕捉到序列中不同位置的依赖关系，从而提高了模型的表达能力。
因此，Transformer在NLP和其他序列任务中取得了很大的成功，并成为目前最主流的深度学习架构之一。
政安晨的个人主页：政安晨
欢迎
标签：dim,Transformer,架构,模型,注意力,政安晨,序列,self From： https://blog.csdn.net/snowdenkeke/article/details/136765946