2022年， Vision Transformer (ViT)成为卷积神经网络(cnn)的有力竞争对手，卷积神经网络目前是计算机视觉领域的最先进技术，广泛应用于许多图像识别应用。在计算效率和精度方面，ViT模型超过了目前最先进的(CNN)几乎四倍。
ViT是如何工作的?
ViT模型的性能取决于优化器、网络深度和特定于数据集的超参数等， 标准 ViT stem 采用 16 *16 卷积和 16 步长。
CNN 将原始像素转换为特征图。然后，tokenizer 将特征图转换为一系列令牌，这些令牌随后被送入transformer。然后transformer使用注意力方法生成一系列输出令牌。
完整文章：
https://avoid.overfit.cn/post/4c0e8cb7959641eb9b92c1d5a3c7161c
标签：令牌,VIT,16,卷积,transformer,可视化,ViT,注意力 From： https://www.cnblogs.com/deephub/p/17062059.html