数据挖掘核心技术-样本平衡

什么是样本平衡

        在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中获取足够的信息来进行精确预测。因此，机器学习算法常常被要求应用在平衡数据集上。不平衡分类是一种有监督学习，但它处理的对象中有一个类所占的比例远远大于其余类。比起多分类，这一问题在二分类中更为常见。不平衡一词指代数据中响应变量（被解释变量）的分布不均衡，如果一个数据集的响应变量在不同类上的分布差别较大我们就认为它不平衡。

        举个例子，假设我们有一个观测数为100000的数据集，它包含了哈佛大学申请人的信息。众所周知，哈佛大学以极低的录取比例而闻名，那么这个数据集的响应变量（即：该申请人是否被录取，是为1，否为0）就很不平衡，大致98%的观测响应变量为0，只有2%的幸运儿被录取。