GBDT的两个不同版本（重要）
残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差。
Gradient版本把GBDT说成一个梯度迭代树，使用梯度下降法求解，认为每一棵回归树在学习前N-1棵树的梯度下降值。
GBDT中的Tree是回归树，不是分类决策树
【原创】GBDT（MART）概念简介
Gradient Boost的Gradient
而Gradient Boost与传统的Boost的区别是，每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。所以说，在Gradient Boost中，每个新的模型的简历是为了使得之前模型的残差往梯度方向减少，与传统Boost对正确、错误的样本进行加权有着很大的区别。
机器学习中的算法(1)-决策树模型组合之随机森林与GBDT - LeftNotEasy - 博客园
我对Gradient版本的理解
Gradient版本不同之处在于它并不采用上棵树与y的差值Δy
Δ
y
作为新训练样本值，而是采用损失函数的梯度∇Loss
∇
L
o
s
s
；但是在叶节点Rjm
R
j
m
的预测结果γjm
γ
j
m
生成上，却采用的是搜索的方法:
之所以可以这样，原因在于等价性：
Δy→0⇔∇Loss→0 Δ y → 0 ⇔ ∇ L o s s → 0
Gradient boosting - Wikipedia
我们从另一个方面来考虑：
所有的机器学习不外乎是
- 提出Loss函数
- 计算Loss最小化的参数
不过你在看GBDT 残差版本时候好像没有看到Loss函数吧。其实是有的：
From:GBDT：梯度提升决策树
这也就是说，我们讨论的残差版本只是一种狭义GDBT，广义GDBT的理论基础是建构于Loss函数优化之上。换句话说，只要符合Loss函数优化的方法，都是有效的。这就是Gradient版本成立的根本所在。
Gradient Boost与神经网络的区别
GB是在空间上不断进行参数累积（比如GBDT多棵决策树）；神经网络是在时间上不断进行参数累积（多次训练的结果会调整各个连接权重和bias）
为什么Xgboost快于一般GB
因为Xgboost加大了奖励惩罚项，从而加速了收敛。