首页 > 其他分享 >(转载)有监督、半监督、无监督、弱监督、自监督的定义和区别

(转载)有监督、半监督、无监督、弱监督、自监督的定义和区别

时间:2022-12-27 16:22:40浏览次数:59  
标签:定义 训练 标签 模型 监督 转载 数据

个人对这几个名词粗浅的理解和区分,不甚全面,仅供参考。

定义

  • 有监督:用有标签的数据训练;

  • 无监督:用无标签的数据训练;

  • 半监督:同时用有标签和无标签的数据进行训练。最近非常火热,此领域的发展也非常迅速,先前通常是两阶段的训练,先用(较小规模的)有标签数据训练一个Teacher模型,再用这个模型对(较大规模的)无标签数据预测伪标签,作为Student模型的训练数据;目前已经有很多直接end-to-end地训练,大大减少半监督训练的工作;

  • 自监督:在无标注数据上训练,通过一些方法让模型学习到数据的inner representation,再接下游任务,例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune,只是有时候可以选择把前面的层完全固定,只finetune后面接的网络的参数。

  • 弱监督:用包含噪声的有标签数据训练。

以上各个概念的分类并不是严格互斥的。

参考资料

转载于:有监督、半监督、无监督、弱监督、自监督的定义和区别

标签:定义,训练,标签,模型,监督,转载,数据
From: https://www.cnblogs.com/KoiC/p/17008299.html

相关文章