首页 > 其他分享 >transfomer的qkv

transfomer的qkv

时间:2023-02-18 16:56:52浏览次数:34  
标签:www 知乎 transfomer question 325839123 qkv

笔记:交叉注意力:Q和K,V来自不同

 

来源:深度学习attention机制中的Q,K,V分别是从哪来的? - 知乎 https://www.zhihu.com/question/325839123/answer/2718310467

 

标签:www,知乎,transfomer,question,325839123,qkv
From: https://www.cnblogs.com/lingxingzi/p/17133029.html

相关文章

  • Self-Attention:Learning QKV step by step
    邱锡鹏NNDL学习笔记学习自注意力模型不难,研究透彻还是需要花点功夫。 这张图赏心悦目,看上去并不复杂,但其中的细节还需慢慢体会。 1. 为了提高模型能力,自注意力......