@
目录一、算法概念
什么是梯度提升决策树?
梯度提升决策树（Gradient Boosting Decison Tree）是集成学习中Boosting家族的一员。
集成学习(ensemble learning)是一种通过组合多个基学习器（模型）来提高整体预测性能的方法。它通过集成多个学习器形成一个强学习器，从而提高模型的泛化能力和准确性。集成学习的核心思想是利用不同模型的组合弥补单一模型的缺点。集成学习可以分为两大类，一类是序列化方法：个体学习器之间存在强依赖关系，必须串行生成，例如boosting；一类是并行化方法：个体学习器之间不存在强依赖关系、可以同时生成，例如bagging（也称为bootstrap聚合）。
Boosting类算法中最著名的代表是Adaboost算法，Adaboost的原理是，通过前一轮弱学习器的错误率来更新训练样本的权重，不断迭代提升模型性能。
GBDT与传统的Adaboost算法有显著不同，GBDT同样通过迭代来提升模型的表现，但它采用的是前向分布算法（Forward Stagewise Algorithm），且其弱学习器被限定为CART回归树。此外，GBDT的迭代思想和Adaboost也有所区别。GBDT算法流程如下：
一、算法原理
（一） GBDT 及负梯度拟合原理
GBDT（Gradient Boosting Decision Tree）是一种利用多个决策树来解决分类和回归问题的集成学习算法。核心思想是通过前一轮模型的残差来构建新的决策树。为了提高拟合效果，Friedman 提出了用损失函数的负梯度来近似残差，从而拟合一个新的CART回归树，负梯度的表示公式为：
$$r_{t,i} = -\left[\frac{\partial L(y_i, f(x_i))}{\partial f(x_i)}\right]{f(x) = f(x)}$$
其中，$r_{t,i}$表示的是第