（self-attention）自注意力机制
将词汇转化为向量表示，可以使用one-hot进行编码，但是这种编码方式认为所有的词之间是没有关系的
还有一种方法是Word Embedding，这种方法相似的词汇会聚集到一起。
输入
文字、声音和图等的输入都是一堆向量
输出
1、N->N(如词性标注)
2、N->1(情绪分析，就是评价一条评论是正面的还是负面的)
3、N->N'(机器自己决定输出数目的多少)
视频中以第一种输出情况为例（N->N）
经过Self-attention得到的四个vectors是考虑了整个sequence（句子）之后才得到的，然后再作为全连接层的输入，再输出
self-attention和全连接层交替使用
self-attention处理整个句子的信息，而全连接层专注于处理某个位置的信息
self-attention的运作过程
b1--b4的产生不是按照顺序产生的，是并行运行产生的
b1的得出是考虑了a1到a4之后得到的。
b1产生的步骤：
1、根据a1找到sequence里与a1相关的其它向量
那么现在的问题是如何得出α呢？
Dot-product和Additive的方式都可以得到
本文中使用的是Dot-product
a1与a1、a2、a3、a4分别进行dot-product计算，分别计算关联性，得到α的值之后经过softmax进行归一（不一定使用softmax,也可以使用relu等，结果可能比softmax的结果更好，这里使用的方法是不确定的）
2、得到α' 之后抽取重要的信息，下面是抽取重要信息的过程
与a1的关联性越强，即得到的α' 的值越大，那么最后计算b1的时候的影响就会越大，就会越接近。
矩阵运算的角度
过程概述图（只有红框里面的数据是未知的，需要通过training data找出来的，其余的数据都是已知的）
Multi-head Self-attention
有多种不同的相关性，就会有多个head,不同的head做各自的计算
Positonal Encoding
在上述的过程中，并没有考虑位置的问题。
在做词性标注的时候，位置的信息就比较重要，比如动词出现在开头的概率就比较低
所以就需要在原有的基础上添加位置向量
self-attention VS CNN
CNN是简化版的self-attention,self-attetnion需要考虑整个的信息，而CNN只需要考虑设定的红框的信息
self-attention VS RNN
Transformer
Sequence-to-sequence(Seq2seq)
输入一个sequence，输出一个sequence，但是输出的长度是由机器自己决定的
Seq2seq过程
Encoder
transformer中的self-attention
经过b经过self-attention之后的a，然后再和b相结合，做residual之后进行norm得到c,c经过全连接层之后得到d,然后d再和c进行结合做residual，之后再做norm
上图的过程就是下图过程的详细版
右图中的输入加入了positional encoding，然后经过multi-head-attention之后进行residual和norm,接着是前馈网络，接着又进行residual和norm，就这样执行n次。
Decoder
前面的输出，再作为下一步的输入
何时停止？
添加“stop token”
encoder和decoder
masked self-attention
表示在生成b1的时候只能考虑a1,在生成b2的时候只能考虑a1和a2,在生成b3的时候只能考虑a1,a2和a3,在生成b4的时候考虑a1,a2,a3,a4
为什么需要masked self-attention?
其实非常的直观，因为decoder的过程是依次执行的，是现有前面的然后才有后面的，就像是现有a1然后才有a2，而self-attention是一块执行的
Decoder ---- Non-autoregressive(NAT)
与AT不同的是，NAT是一次输入多个begin，但是这就有一个问题，如何确定输入的begin的数量（因为输入是不确定的）？
1、另外设置一个Classifier，这个分类器的输入是decoder的input，然后输出是一个数字，这个数字就是表示的begin的数量
2、给一个begin的上限，根据输入的end进行中断，如上图
NAT的好处
并行进行，速度比AT的速度快
但是NAT的表现弱于AT的表现
Encoder和Decoder中间的传递
cross attention
q来自于decoder,k和v来自于encoder。decoder凭借产生的q抽取encoder里面重要的信息产生作为FC的输入的值
下一步的过程：
训练过程
将decoder的输出和正确答案做cross entropy，并且使corss entropy最小，这样的正确率越高。
在训练的时候，这里decoder的输入是正确答案，就是提前给decoder看正确答案，在有“begin”和“机”的情况下，下一步输出的就是“器”
补充
前馈神经网络
神经网络前馈是接收输入数据并生成输出的机器学习模型。这些网络由多层人工神经元组成，这些人工神经元通过加权连接连接。在不环回的情况下，数据以单一方向从输入层流向输出层。在训练期间调整神经元之间连接的权重，以减少模型预测的输出与实际正确输出之间的差异。
cross entropy
交叉熵（Cross-Entropy）是一种用于衡量两个概率分布之间的距离或相似性的度量方法。在机器学习中，交叉熵通常用于损失函数，用于评估模型的预测结果与实际标签之间的差异。
Dot-product
其实就是做点积（内积）运算
标签：输出,Transformer,self,attention,a1,decoder,输入 From： https://blog.csdn.net/2401_84009572/article/details/137197254