1. Semi-Supervised Learning
Semi-Supervised Learning(半监督学习)是监督学习和无监督学习的一种结合方法。半监督学习使用大量的未标记数据,以及同时使用标记数据,来进行模式识别工作。
2. Pseudo-Label
产生伪标签的步骤非常简单,可以用如下步骤概括:
Step1: 给定带标签数据和不带标签的数据
Step2: 使用带标签数据训练模型
Step3: 使用训练好的模型预测没有标签的数据,得到Pseudo-label(伪标签)
Step4:从不带标签的数据中拿出一部分数据加入到带标签数据集中。重复Step2
3. Entropy-based Regularization
对于分类模型,我们当然期望输出的某一个类别拥有很大的置信度,其它的类别置信度很小,这样表明该模型对预测结果很有信心。
在数学中,我们可以用熵来度量该模型对输出结果有没有信心。有关熵的介绍可以参考之前的一篇博客:什么是熵,如何计算?。
的熵:
若的预测结果是,则;
若的预测结果是,则$E(y^{u})=\ln 5。
可以看到,当模型对某一预测结果置信度越高,熵越小。对于预测模型,我们自然希望它的熵越小越好。
所以,我们可以在损失函数上加上熵正则项:
4. Why could Pseudo-Label work?
那么伪标签为何能够用于半监督模型呢,论文 Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks给出了两点解释:
- 半监督学习的目的是为了使用无标签数据增强模型的泛化性。而cluster assumption表明,决策边界位于低密度区域(low-density regions)能够提高模型的泛化性。而高密度区域的结果应该具有相似的输出结果。而伪标签就是取最高概率的作为伪标签;
- 熵正则通过最小化未标记数据的类概率的条件熵,促进了类之间的低密度分离,而无需对密度进行任何建模,通过熵正则化与伪标签具有相同的作用效果,都是希望利用未标签数据的分布的重叠程度的信息。