transformer的基础知识
transformer网络结构图
seq2seq
一般Seq2seq会分成两部分：Encoder、Decoder。
Encoder
Transformer 中的 Encoder 就是用的 Self-attention。
encoder的内部结构
补充：block的内部结构主要由self-attention和全连接神经网络所构成。
在原来的论文中block的结构更加复杂。
现在就比较好理解了，
一般Seq2seq会分成两部分：Encoder、Decoder。
Transformer 中的 Encoder 就是用的 Self-attention。
encoder的内部结构
补充：block的内部结构主要由self-attention和全连接神经网络所构成。
在原来的论文中block的结构更加复杂。
现在就比较好理解了，