Trainingdata-efficientimagetransformers&distillationthroughattention：通过注意力训练数据高效的图像转换器和蒸馏论文地址：https://arxiv.org/abs/2012.12877代码地址：https://github.com/facebookresearch/deit这篇论文在2020年12月23日首次提交，也就是在ViT提

DeiT-LT为ViT在长尾数据集上的应用，通过蒸馏DIST标记引入CNN知识，以及使用分布外图像并重新加权蒸馏损失来增强对尾类的关注。此外，为了减轻过拟合，论文建议用经过SAM训练的CNN教师进行蒸馏，促使所有ViT块中DIST标记学习低秩泛化特征。经过DeiT-LT的训练方案，DIST标记成为尾类的专家，分

运行代码：importtimmimporttorchmodel=timm.create_model('deit_small_patch16_224',pretrained=True,num_classes=6,pretrained_cfg_overlay=dict(file='/home/lingdu/zyt/works/pretrained_models/deit_small_patch16_224-cd65a1