paper：DeepViT:TowardsDeeperVisionTransformerofficialimplementation：https://github.com/zhoudaquan/dvit_repo出发点尽管浅层ViTs在视觉任务中表现优异，但随着网络深度增加，性能提升变得困难。研究发现，这种性能饱和的主要原因是注意力崩溃问题，即在深层变压器中，attentio

作者发现深层ViT出现的注意力崩溃问题，提出了新颖的Re-attention机制来解决，计算量和内存开销都很少，在增加ViT深度时能够保持性能不断提高来源：晓飞的算法工程笔记公众号论文:DeepViT:TowardsDeeperVisionTransformer论文地址：https://arxiv.org/abs/2103.11886论文代码