1 Boosting方法的基本思想
在集成学习的“弱分类器集成”领域，除了降低方差来降低整体泛化误差的装袋法Bagging，还有专注于降低整体偏差来降低泛化误差的提升法Boosting。相比起操作简单、大道至简的Bagging算法，Boosting算法在操作和原理上的难度都更大，但由于专注于偏差降低，Boosting算法们在模型效果方面的突出表现制霸整个弱分类器集成的领域。当代知名的Boosting算法当中，Xgboost，LightGBM与Catboost都是机器学习领域最强大的强学习器，Boosting毫无疑问是当代机器学习领域最具统治力的算法领域。
1.1 Boosting PK Bagging
| 装袋法 Bagging | 提升法 Boosting | |
|---|---|---|
| 弱评估器 | 相互独立，并行构建 | 相互关联，按顺序依次构建 先建弱分类器的预测效果影响后续模型的建立 |
| 建树前的抽样方式 | 样本有放回抽样 特征无放回抽样 |
样本有放回抽样 特征无放回抽样 先建弱分类器的预测效果可能影响抽样细节 |
| 集成的结果 | 回归平均 分类众数 |
每个算法具有自己独特的规则，一般来说： (1) 表现为某种分数的加权平均 (2) 使用输出函数 |
| 目标 | 降低方差 提高模型整体的稳定性来提升泛化能力 本质是从“平均”这一数学行为中获利 |
降低偏差 提高模型整体的精确度来提升泛化能力 相信众多弱分类器叠加后可以等同于强学习器 |
| 单个评估器容易 过拟合的时候 |
具有一定的抗过拟合能力 | 具有一定的抗过拟合能力 |
| 单个评估器的效力 比较弱的时候 |
可能失效 | 大概率会提升模型表现 |
| 代表算法 | 随机森林 | 梯度提升树，Adaboost |
在以随机森林为代表的Bagging算法中，我们一次性建立多个平行独立的弱评估器，并让所有评估器并行运算。在Boosting集成算法当中，我们逐一建立多个弱评估器（基本是决策树），并且下一个弱评估器的建立方式依赖于上一个弱评估器的评估结果，最终综合多个弱评估器的结果进行输出，因此Boosting算法中的弱评估器之间不仅不是相互独立的、反而是强相关的，同时Boosting算法也不依赖于弱分类器之间的独立性来提升结果，这是Boosting与Bagging的一大差别。 如果说Bagging不同算法之间的核心区别在于靠以不同方式实现“独立性”（随机性），那Boosting的不同算法之间的核心区别就在于上一个弱评估器的评估结果具体如何影响下一个弱评估器的建立过程（就是后面学习Boosting算法最大的区别）。
与Bagging算法中统一的回归求平均、分类少数服从多数的输出不同，Boosting算法在结果输出方面表现得十分多样。早期的Boosting算法的输出一般是最后一个弱评估器的输出，当代Boosting算法的输出都会考虑整个集成模型中全部的弱评估器。一般来说，每个Boosting算法会其以独特的规则自定义集成输出的具体形式，但对大部分算法而言，集成算法的输出结果往往是关于弱评估器的某种结果的加权平均，其中权重的求解是boosting领域中非常关键的步骤。
1.2 Boosting算法的基本元素与基本流程
基于上面所明确的“降低偏差”、“逐一建树”、以及“以独特规则输出结果”的三大特色，我们可以确立任意boosting算法的三大基本元素以及boosting算法自适应建模的基本流程：
- 损失函数\(L(x,y)\) ：用以衡量模型预测结果与真实结果的差异
- 弱评估器\(f(x)\) ：（一般为）决策树，不同的boosting算法使用不同的建树过程
- 综合集成结果\(H(x)\)：即集成算法具体如何输出集成结果
这三大元素将会贯穿所有我们即将学习的boosting算法，我们会发现几乎所有boosting算法的原理都围绕这三大元素构建。在此三大要素基础上，所有boosting算法都遵循以下流程进行建模：
依据上一个弱评估器\(f(x)_{t-1}\)的结果，计算损失函数\(L(x,y)\)，
并使用\(L(x,y)\)自适应地影响下一个弱评估器\(f(x)_t\)的构建。
集成模型输出的结果，受到整体所有弱评估器\(f(x)_0\) ~ \(f(x)_T\)的影响。
并使用\(L(x,y)\)自适应地影响下一个弱评估器\(f(x)_t\)的构建。
集成模型输出的结果，受到整体所有弱评估器\(f(x)_0\) ~ \(f(x)_T\)的影响。
正如之前所言，Boosting算法之间的不同之处就在于使用不同的方式来影响后续评估器的构建。无论boosting算法表现出复杂或简单的流程，其核心思想一定是围绕上面这个流程不变的。
1.3 sklearn中的boosting算法
在sklearn当sklearn中的boosting算法中，我们可以接触到数个Boosting集成算法，包括Boosting入门算法AdaBoost，性能最稳定、奠定了整个Boosting效果基础的梯度提升树GBDT（Gradient Boosting Decision Tree），以及近几年才逐渐被验证有效的直方提升树（Hist Gradient Boosting Tree）。
在过去5年之间，除了sklearn，研究者们还创造了大量基于GBDT进行改造的提升类算法，这些算法大多需要从第三方库进行调用，例如极限提升树XGBoost（Extreme Gradient Boosting Tree），轻量梯度提升树LightGBM（Light Gradiant Boosting Machine），以及离散提升树CatBoost（Categorial Boosting Tree）。
| Boosting算法 | 库 | 集成类 |
|---|---|---|
| ADB分类 | sklearn | AdaBoostClassifer |
| ADB回归 | sklearn | AdaBoostRegressor |
| 梯度提升树分类 | sklearn | GradientBoostingClassifier |
| 梯度提升树回归 | sklearn | GradientBoostingRegressor |
| 直方提升树分类 | sklearn | HistGraidientBoostingClassifier |
| 直方提升树回归 | sklearn | HistGraidientBoostingRegressor |
| 极限提升树 | 第三方库xgboost | xgboost.train() |
| 轻量梯度提升树 | 第三方库lightgbm | lightgbm.train() |
| 离散提升树 | 第三方库catboost | catboost.train() |
2 AdaBoost
2.1 介绍
AdaBoost（Adaptive Boosting，自适应提升法）是当代boosting领域的开山鼻祖，它虽然不是首个实践boosting思想算法，却是首个成功将boosting思想发扬光大的算法。它的主要贡献在于实现了两个变化：
1、首次实现根据之前弱评估器的结果自适应地影响后续建模过程
2、在Boosting算法中，首次实现考虑全部弱评估器结果的输出方式，就是在之前人们认为树是一颗比一颗好，最好的应该是最后一棵树输出的结果
作为开山算法，AdaBoost的构筑过程非常简单：首先，在全样本上建立一棵决策树，根据该决策树预测的结果和损失函数值，增加被预测错误的样本在数据集中的样本权重，并让加权后的数据集被用于训练下一棵决策树。这个过程相当于有意地加重“难以被分类正确的样本”的权重，同时降低“容易被分类正确的样本”的权重，而将后续要建立的弱评估器的注意力引导到难以被分类正确的样本上。所以越往后的树越容易分类那些那分类的样本，越是会忽略那些容易分类的样本。
就是一个样本预测错误的次数越多，他被加权的次数就越多。
在该过程中，上一棵决策树的的结果通过影响样本权重、即影响数据分布来影响下一棵决策树的建立，整个过程是自适应的。当全部弱评估器都被建立后，集成算法的输出