论文：https://hushell.github.io/pmf/
本论文探究了以下问题：
1.对外部数据进行预训练如何有利于FSL。
2.如何利用最先进的transform架构。
3.微调如何减轻domain shift。
两种小样本学习的方法：
- 使用元学习的方法实现小样本学习
- 使用大量数据进行与预训练，得到一个特征提取器，使用此特征提取器完成小样本学习
本文结合了上面两种方式，本文分为P>M>F ：
- 1.the pipeline Pre-training：使用自监督损失在无标记的外部数据上预训练feature backbone
使用ResNet或ViT的feature backbone，使用DINO、BEiT和CLIP自监督方法进行训练。对于ViT等更灵活的架构，使用外部数据进行预训练很重要，因为它们很难在公共小型FSL基准上进行训练(图1和表1)。 - 2.meta-training：使用 ProtoNet（prototypical network） loss在带有标记的少样本task上对feature backbone进行元训练
- 3.新的task微调feature backbone
新任务是从看不见的域中提取的，由于数据分布的显着变化，学习到的特征表示可能无法泛化。为此，我们建议在数据增强的帮助下通过几个梯度步骤微调特征主干。我们的做法是：使用support set生成伪query set，使用计算support set和伪query set之间的loss，通过梯度下降微调特征主干。
我们观察到微调性能对学习率的选择相对敏感
标签：set,Shot,Tuning,Limits,backbone,微调,feature,训练,使用 From： https://www.cnblogs.com/codingbigdog/p/16971757.html