决策树
1.概念
决策树是一种用于解决分类问题的算法，希望通过从给定数据训练一个模型用来对新示例进行分类
决策树顾名思义是树结构，其结点可以划分为三类：根结点、内部结点、叶结点
根节点：一般是区分度最高（基尼指数最小）的属性（纯度最高）
内部结点：是父结点下基尼系数最小的结点
叶结点：决策结点，一般为标签的值
2.划分选择
我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即纯度高
常用方法：
1.信息熵：值越小，纯度越高
2.基尼指数：值越小，纯度越高
3.剪枝处理
剪枝是决策树学习算法中降低过拟合的主要方法
基本策略：
1.预剪枝：在决策树生成过程中对每个结点先进行估计，若当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前结点标记为叶节点（自顶向下）
2.后剪枝：从训练集生成一棵完整的决策树，自底向上对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来决策树泛化性能提升，则将该子树替换为叶结点
4.连续离散
将连续值划分为几个区间，区间的分界值相同
标签：剪枝,结点,机器,纯度,Day4,学习,为叶,节点,决策树 From： https://blog.csdn.net/weixin_52108189/article/details/139896478