paper：IncorporatingConvolutionDesignsintoVisualTransformersofficialimplementation：GitHub-coeusguo/ceit背景近年来，Transformer在自然语言处理（NLP）任务中取得了巨大的成功，并且开始有一些尝试将其应用于视觉领域。然而，纯Transformer架构在视觉任务中通常需要大量的

https://jalammar.github.io/illustrated-transformer/X就是输入的向量，第一步就是创建三个输入向量qkv第二步是计算分数：分数决定了对输入句子的其他部分的关注程度。分数是通过查询向量与我们要评分的各个单词的键向量的点积来计算的。因此，如果我们处理位置#1中单词的自注意

2024.3.12Self-Attention和Attentiond的区别注意力机制是一个很宽泛（宏大）的一个概念，QKV相乘就是注意力，但是他没有规定QKV是怎么来的通过一个查询变量Q，去找到V里面比较重要的东西假设K==V，然后QK相乘求相似度A，然后AV相乘得到注意力值Z，这个Z就是V的另外一种形式的表示Q可以是任何

一.Motivation1.transformer的工作主要集中在设计transformer块以获得全局信息，而忽略了合并高频先验的潜力2. 关于频率对性能的影响的详细分析有限（Additionally,there islimiteddetailedanalysisoftheimpactoffrequencyon performance.）注： （1） 图说明：随着高

近来，大语言模型(LLM)已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。大语言模型对用户隐私的影响尽管LLM很有吸引力，但如何保护好输入给这些模型的用户查询中的隐私这一问题仍然存在。一方面，我们想充分利用LLM的力量，但另一方面

Transformer学习此帖用于整理回顾自己学transformer的一些问题和知识极好的博客和资料：Transformer模型详解-CSDN博客：原理讲的很清楚举个例子讲下transformer的输入输出细节及其他-知乎(zhihu.com)：讲的是输入输出的细节Transformer论文逐段精读【论文精读】B站：李沐dalao

笔记：交叉注意力：Q和K,V来自不同 来源：深度学习attention机制中的Q,K,V分别是从哪来的？-知乎https://www.zhihu.com/question/325839123/answer/2718310467 

通过pytorch去构建一个transformer的框架不是导包，不是调包侠注意力机制是一个很宽泛（宏大）的一个概念，QKV相乘就是注意力，但是他没有规定QKV是怎么来的通过一个查询变量Q

邱锡鹏NNDL学习笔记学习自注意力模型不难，研究透彻还是需要花点功夫。 这张图赏心悦目，看上去并不复杂，但其中的细节还需慢慢体会。 1. 为了提高模型能力，自注意力

目录1、QKV作用？2、QKV的矩阵形状问题1、QKV作用？1、QKV都是输入经过线性投影获得，假设句子为"goodmorning，sir",句子有4个token；通过这4个token线性投影获得的QKV的embedin