• 2024-11-15mobileViT-V2-线性自注意力计算
    paperclassLinearSelfAttention(nn.Module):"""Thislayerappliesaself-attentionwithlinearcomplexity,asdescribedin`https://arxiv.org/abs/2206.02680`Thislayercanbeusedforself-aswellascross-attention.Args
  • 2024-11-15MobileViT-v1-所有patch内相对位置相同的token之间计算自注意力
    paperdefmy_self(x:torch.Tensor):'''通过这段代码可以把每张图片图片中相对位置相同的若干个tokens放到最后两个维度'''#[B,C,H,W]->[B,C,n_h,p_h,n_w,p_w]#n_h是高度方向上可以分多少个patchp_hpatch的高度n_w宽度方向上可以