参考视频：12.1 Swin-Transformer网络结构详解
- 使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于在此基础上构建目标检测，实例分割等任务。
- 使用了Windows Multi-Head Self-Attention(W-MSA)的概念，将特征图划分成了多个不相交的区域（Window），并且Multi-Head Self-Attention只在每个窗口（Window）内进行，目的是减少计算量，但也会隔绝不同窗口之间的信息传递，所以又提出了 Shifted Windows Multi-Head Self-Attention(SW-MSA)，通过此方法能够让信息在相邻的窗口中进行传递。