机器学习从入门到精通——决策树算法概述以及实现总结

决策树

• ​​决策树​​

• ​​定义​​

• ​​决策树​​

• ​​概念​​

• ​​熵​​
• ​​条件熵​​
• ​​经验熵， 经验条件熵​​
• ​​信息增益​​

• ​​算法​​

• ​​信息增益算法​​
• ​​ID3算法​​
• ​​C4.5生成​​
• ​​树的剪枝​​
• 
  
• ​​最小二乘回归树生成​​
• ​​CART分类树生成​​

• ​​实现以及统计学习书上实例​​

• ​​信息增益​​
• ​​算法实现​​
• ​​训练数据​​
• ​​打印树​​

决策树

定义

决策树

1. 分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。
2. 决策树学习旨在构建一个与训练数据拟合很好，并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策树。决策树学习算法包括3部分：特征选择、树的生成和树的剪枝。常用的算法有ID3、 C4.5和CART。
3. 特征选择的目的在于选取对训练数据能够分类的特征。特征选择的关键是其准则。常用的准则如下：

• 样本集合
  标签：入门,self,feature,label,算法,增益,data,决策树
  From： https://blog.51cto.com/u_13859040/5814498