通过 pytorch 去构建一个 transformer 的框架
不是导包，不是调包侠
注意力机制是一个很宽泛（宏大）的一个概念，QKV 相乘就是注意力，但是他没有规定 QKV是怎么来的
通过一个查询变量 Q，去找到 V 里面比较重要的东西
假设 K==V，然后 QK 相乘求相似度A，然后 AV 相乘得到注意力值Z，这个 Z 就是 V 的另外一种形式的表示
Q 可以是任何一个东西，V 也是任何一个东西， K往往是等同于 V 的（同源），K和 V 不同源不相等可不可以
他没有规定 QKV 怎么来，他只规定 QKV 怎么做
注意力机制
自注意力机制
自注意力机制，特别狭隘，属于注意力机制的，注意力机制包括自注意力机制的
本质上 QKV 可以看做是相等的
对于一个词向量（不一定准确），做的是空间上的对应，乘上了参数矩阵，依然代表 X
不仅规定了 QKV 同源，而且固定了 QKV 的做法
交叉注意力机制
Q 和 V 不同源，但是 K 和 V 同源
cyd 注意力机制
Q 和 V 同源，Q 和 K 不同源
xxx 注意力机制
Q 必须为 1，K 和 V 不同源