self-attention步骤:
(1)得到Q、K、V
扩展到多头注意力机制:
self-attention存在缺点:缺少位置信息
为每一个输入设置一个positional vector ei
标签:ei,self,attention,positional,机制,注意力 From: https://www.cnblogs.com/niuhulu-rui/p/18287943
self-attention步骤:
(1)得到Q、K、V
扩展到多头注意力机制:
self-attention存在缺点:缺少位置信息
为每一个输入设置一个positional vector ei
标签:ei,self,attention,positional,机制,注意力 From: https://www.cnblogs.com/niuhulu-rui/p/18287943