首页 > 其他分享 >transformer的基础知识

transformer的基础知识

时间：2024-10-14 12:19:46浏览次数：23

标签：transformer attention Encoder 内部结构基础知识 block

transformer的基础知识

transformer网络结构图

在这里插入图片描述

seq2seq

一般Seq2seq会分成两部分：Encoder、Decoder。
在这里插入图片描述

Encoder

Transformer 中的 Encoder 就是用的 Self-attention。

在这里插入图片描述

encoder的内部结构
在这里插入图片描述

补充：block的内部结构主要由self-attention和全连接神经网络所构成。

在原来的论文中block的结构更加复杂。
在这里插入图片描述

现在就比较好理解了，

标签：transformer,attention,Encoder,内部结构,基础知识,block
From： https://blog.csdn.net/weixin_55057111/article/details/142915083

相关文章

WiFi基础(六)：天线基础知识
liwen012024.10.01前言麦克斯韦预言了电磁波的存在，赫兹通过实验证实了麦克斯韦的预言，马可尼基于无线电磁波的原理发明了无线电报系统，从此人类进入无线通信系统时代。天线是通信系统中必不可少的组成部分，它的作用是将电信号转换为电磁波信号发射出去，也可以将接收到的电磁波信号......

赞助商

阅读排行