以下笔记参考huggingface官方tutorial：https://huggingface.co/learn/nlp-course/chapter6下图展示了完整的tokenization流程，接下来会对每个步骤做进一步的介绍。1.Normalizationnormalize其实就是根据不同的需要对文本数据做一下清洗工作，以英文文本为例可以包括删除

在英语中，“helps”“helped”和“helping”等单词都是同一个词“help”的变形形式。“dog”和“dogs”之间的关系与“cat”和“cats”之间的关系相同，“boy”和“boyfriend”之间的关系与“girl”和“girlfriend”之间的关系相同。在法语和西班牙语等其他语言中，许多动词有40多种变

1旋转角度计算计算公式如下，其中d为词嵌入维度，\[\theta_j=10000^{-2(j-1)/d},j\in[1,2,\ldots,d/2]\]#计算词向量元素两两分组之后，每组元素对应的旋转角度#维度：[dim/2]freqs=1.0/(theta**(torch.arange(0,dim,2)[:(dim//2)].float()/dim))2计算整个seq

目录概RoPESuJ.,LuY.,PanS.,MurtadhaA.,WenB.andLiuY.RoFormer:Enhancedtransformerwithrotarypositionembedding.概原作者的博客已经讲得非常到位了:[here]and[there].RoPERoPE是一种相对位置编码,特点是它可以像绝对位置编码一样,在embeddi

f=torch.fft.fft2(image)#计算频率freqs=torch.fft.fftfreq(image.shape[-1])print(freqs)#设定阈值，用于分离高频和低频信息threshold=0.1#创建掩码，用于分离高频和低频信息mask=(freqs.abs()<threshold).float()#应用掩码，分离高频和低频信息low_freq=to