首页 > 编程语言 >集成算法--GBDT梯度提升树

集成算法--GBDT梯度提升树

时间:2022-12-17 18:34:19浏览次数:33  
标签:集成 函数 -- 梯度 算法 GBDT 评估器

三要素:

损失函数L(x,y):  真实值和预测值之间的差异

弱评估器f(x):效果差的模型

综合集成规则:数据、特征处理方法,构建迭代过程,参数设置等

基本训练流程:以上一个弱评估器的结果,计算损失函数,并以最小化L(x,y)为目标影响下一个弱评估器的构建

 

 

 

 

 

 

Boosting 算法中所有的弱评估器都是回归树,

用于分类的话,在回归基础上加上sigmoid函数或者softmax函数构建。

 

 

 

 

树的尺寸要小,防止过拟合

树的数量要多,得到更好的效果

调小学习率,得到更好的效果

 

learning rate 学习率,步长 ,控制每棵树的增长速度

 

 

 损失函数

 

 

 

 

 

 

 

 

标签:集成,函数,--,梯度,算法,GBDT,评估器
From: https://www.cnblogs.com/oceaning/p/16989327.html

相关文章

  • 2022年年终总结
    主要分成四大块来进行总结做了啥?没做啥?感受?明年想做啥?做了啥【按时间线】?1、跟随公司发布了新版本的软件2、跳槽涨薪3、参加了钢琴比赛4、0到1实现新项目......
  • 用指针的方法将两个数由大到小顺序输出
    #include<stdio.h>intmain(){ inta,b,*p1,*p2,t=0; printf("请输入两个数:"); scanf("%d,%d",&a,&b); p1=&a;p2=&b; if(a<b) { t=*p1; *p1......
  • #yyds干货盘点# react笔记之学习之创建表单
    前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从......
  • 200009 计算板的土方量和钢筋量已知集中标注
    点击查看代码<?phpheader('Content-Type:text/html;charset=utf-8');define('ROOT',$_SERVER['DOCUMENT_ROOT']);includeROOT.'/assets/php/head.php';$tit='......
  • Container Cpu and Memory Cgroupfs
    每个容器,pod在启动之后都会有着属于自己的cgroup路径,在该路径下有着这个容器cpu,memory限制参数,能够控制资源使用的上限,而在我们日常集群运营维护中,这些原理能够帮助我们快速......
  • 海明码校验法
    首先对于我们所熟知的奇偶校验,对于偶校验来说:   我们往最前面添加一个校验位,但是一个校验位只能表示两种状态,即对或错现在我们希望能够知道更多的信息,即要增加校......
  • #yyds干货盘点# react笔记之学习之处理表单数据
    前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从......
  • 我为何决定自主创业
    思来想去,我终于决定自主创业了。也就是说,我决定成为一名独立开发者。之所以不想去公司上班,可能是因为自己着实不想做一些没有意义的项目。最关键的是,老板要是懂技术,老板就会......
  • 将数从小到大的输出(使用指针变量作为函数参数)
    #include<stdio.h>voidswap(int*p1,int*p2){ intt=0; t=*p1; *p1=*p2; *p2=t;}intmain(){ inta,b,*p1,*p2; printf("请输入两个数:"); scanf(......
  • Linux学习系列:挂载windows下的磁盘
    一、场景最近在研究双系统(Windows10+Centos7)部署,已经成功将centos7部署起来。因为是双系统,所以要看windows下磁盘的东西,只能挂载到某个目录去查看。本篇博客主要是阐述相关......