网站首页
编程语言
数据库
系统相关
其他分享
编程问答
MobileVIT
2024-11-15
mobileViT-V2-线性自注意力计算
paperclassLinearSelfAttention(nn.Module):"""Thislayerappliesaself-attentionwithlinearcomplexity,asdescribedin`https://arxiv.org/abs/2206.02680`Thislayercanbeusedforself-aswellascross-attention.Args
2024-11-15
MobileViT-v1-所有patch内相对位置相同的token之间计算自注意力
paperdefmy_self(x:torch.Tensor):'''通过这段代码可以把每张图片图片中相对位置相同的若干个tokens放到最后两个维度'''#[B,C,H,W]->[B,C,n_h,p_h,n_w,p_w]#n_h是高度方向上可以分多少个patchp_hpatch的高度n_w宽度方向上可以