如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~
文章目录
- Boosting提升树
- 提升树模型
- 提升树算法
- 优化问题
2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善机器学习各个知识体系的文章,帮助大家更高效学习。
Boosting提升树
Boosting思想主要是采用将模型进行串行组合的思想,利用多个弱学习器来学习我们的数据进而形成一个强大的学习器,像AdaBoost就是将我们的基分类器进行线性组合。
本节将讲一种AdaBoost的特例,当AdaBoost+决策树=提升树。
提升树模型
AdaBoost采用了一种加法模型,将我们的弱分类器进行线性组合,而且同时使用了前向分步算法进行优化,如果此时我们的弱学习器为决策树的话,此时我们就会得到一种特例,常被叫做提升树。
如果对于分类问题的话,弱学习器一般为二叉分类树,如果对于回归问题来说,弱学习器为二叉回归树。
这里讲个概念就是决策树桩:它的意思就是它是最简单的决策树,只有根节点和两个子节点,即根据是否条件分支获得的树,你比如当 ,
,如果
,
对于提升树的加法模型定义如下:
- T:T代表决策树模型
- M:代表总共有M个弱学习器
- x:代表样本数据
提升树算法
因为提升树是基于AdaBoost的,所以它的优化算法也是采用了前向分步算法,所以我们需要由前向后一个一个优化我们的树模型,基于这个我们定义当我们优化到m步时,所对应的总模型学习器为:
注意:下标m不是代表第m个分类器,而是代表累积的意思,
是我们前几步优化好的模型,也就是现在的模型,后面的
代表我们当前轮数正在优化的树模型,为了求得优化参数,我们定义极小化经验风险函数,也就是最小化损失函数,来求得
中的待优化参数
,定义损失函数如下:
我们的目标就是获得:
我们需要解出当前正在优化的树的最优参数,由于 是前几轮优化后的模型,所以此时可以看作常数,参数只有
中的
针对于分类问题损失函数一般使用交叉熵,而回归问题更多使用的是MSE均方误差。
即:
优化问题
我们使用前向分步算法进行优化,所以定义初始学习器
所以有:
在前向分布算法的第m步,给定当前模型 ,我们目标是要求解:
其中 代表前 m-1棵树加权的模型,
对于回归问题,定义MSE平方损失有:
我们进行m次循环,分别优化这个函数,优化加入每个新学习器后的残差和。
写在最后
一键三连”哦!!!