首页 > 其他分享 >Boosting, Bootstrap, Adaboost, GBDT, XGBoost, 随机森林

Boosting, Bootstrap, Adaboost, GBDT, XGBoost, 随机森林

时间:2022-10-10 09:59:32浏览次数:95  
标签:Bootstrap 迭代 XGBoost instance GBDT Adaboost Boosting

 

Adaboost,按分类对错,分配不同的weight,计算cost function时使用这些weight,从而让“错分的样本权重越来越大,使它们更被重视”。

Bootstrap也有类似思想,它在每一步迭代时不改变模型本身,也不计算残差,而是从N个instance训练集中按一定概率重新抽取N个instance出来(单个instance可以被重复sample),对着这N个新的instance再训练一轮。由于数据集变了迭代模型训练结果也不一样,而一个instance被前面分错的越厉害,它的概率就被设的越高,这样就能同样达到逐步关注被分错的instance,逐步完善的效果。

 

GBDT

GBDT(MART) 迭代决策树入门教程 | 简介 (推荐,讲解简单清楚)

GBDT中的树都是回归树,不是分类树。所以看GBDT之前,需要先看回归树内容

GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

GBDT的核心就在于,每一棵树学的是之前所有树结论和的残差

GB其实是一种理念,他并不是这一个具体的算法,意思是说沿着梯度方向,构造一系列的弱分类器函数。

 

标签:Bootstrap,迭代,XGBoost,instance,GBDT,Adaboost,Boosting
From: https://www.cnblogs.com/picassooo/p/16774575.html

相关文章

  • bootstrap入门学习笔记
    本来这记着一天的笔记,网上搜了一下教程手册,整理得比我的强多了。果断删掉。相应的bootStrap教程网址 ​​https://www.runoob.com/bootstrap/bootstrap-typography.html......
  • elementUI/jquery/bootstrap/vue的异同
    elementUI的学习链接:https://blog.csdn.net/qq_40132294/article/details/124829639vue的学习链接:https://blog.csdn.net/weixin_48841931/article/details/126219434ht......
  • Xgboost - A scalable tree boosting system Chiang
    XGBoost(eXtremeGradientBoosting)其核心是对决策树(DecisionTree)的增强(Boosting)方法,属于集成学习(EnsembleLearning)。集成算法思想在决策树中,我们知道一个样本往左边分或者......
  • 人脸对齐之GBDT(ERT)算法解读
    1.概述文章名称:OneMillisecondFaceAlignmentwithanEnsembleofRegressionTrees 文章作者:VahidKazemi,JosephineSullivan 简要介绍:OneMillisecondFaceAlignme......
  • Bootstrap
    两种方法引用Bootstrap一种是把下载的bootstrap-3.3.7-dist文件夹放入所要用到Bootstrap框架的项目的文件夹:官网下载地址:http://getbootstrap.com/中文网下载地址:http://w......
  • 【kaggle】基于xgboost的boston房价预测
    学习总结(1)本task其实较为简单。选用最熟悉(简单)的波士顿房价数据集,进行数据分析;另外主要是回顾sklearn的基本用法,复习xgboost模型及其参数的选择。文章目录​​学习总结​​......
  • springboot项目 报错No mapping for GET /css/bootstrap.css,前端无法展示样式
    说来也奇怪,前几天刚写完的项目写的好好的现在打开他就加载不了前端的静态资源了报错NomappingforGET/css/bootstrap.css解决方法:新建一个配置类,将静态资源的路径......
  • springboot整合thymeleaf模板引擎和bootstrap实现增删改查和文件上传
     一、参照第八天任务中的栏目表,使用thymeleaf做为前端展现,完成CRUD及分页操作二、使用springboot+mybatis-plus+redis完成用户登录系统,数据库表users字段名称......
  • Bootstrap5 如何创建多媒体对象
    一、在Bootstra5中使用媒体对象Bootstrap媒体对象在版本5中已经停止支持了。但是,我们仍然可以使用flex和margin创建包含左对齐或右对齐媒体对象(如图像或视频)以及......
  • 25 bootstrap--v3--datetimepicker时间选择器--应用
    在模板中引用响应的文件比如:layout.html<linkrel="stylesheet"href="{%static'stark/plugins/datetimepicker/css/bootstrap-datetimepicker.css'%}"/><scripts......