个人对这几个名词粗浅的理解和区分,不甚全面,仅供参考。
定义
-
有监督:用有标签的数据训练;
-
无监督:用无标签的数据训练;
-
半监督:同时用有标签和无标签的数据进行训练。最近非常火热,此领域的发展也非常迅速,先前通常是两阶段的训练,先用(较小规模的)有标签数据训练一个Teacher模型,再用这个模型对(较大规模的)无标签数据预测伪标签,作为Student模型的训练数据;目前已经有很多直接end-to-end地训练,大大减少半监督训练的工作;
-
自监督:在无标注数据上训练,通过一些方法让模型学习到数据的inner representation,再接下游任务,例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune,只是有时候可以选择把前面的层完全固定,只finetune后面接的网络的参数。
-
弱监督:用包含噪声的有标签数据训练。
以上各个概念的分类并不是严格互斥的。