首页 > 编程语言 >基于Python的机器学习系列(14):随机森林(Random Forests)

基于Python的机器学习系列(14):随机森林(Random Forests)

时间:2024-09-01 09:56:01浏览次数:9  
标签:14 idx oob Python self Random 随机 test model

简介

        在上一节中,我们探讨了Bagging方法,并了解到通过构建多个树模型来减少方差是有效的。然而,Bagging方法中树与树之间仍然可能存在一定的相关性,降低了方差减少的效果。为了解决这个问题,我们引入了随机森林(Random Forests),这是一种基于Bagging的增强技术,通过在每个树的每个分割点上随机选择特征来进一步减少树之间的相关性。

1. Out of Bag (OOB) 评价

        在Bagging方法中,每棵树仅看到训练数据的一个子集。未被某棵树看到的数据被称为“袋外”(Out of Bag, OOB)数据。由于OOB数据对这棵树来说是完全陌生的,我们可以将其视为一种验证集,用来评估模型的性能。具体来说,在训练每棵树后,我们可以使用这棵树的OOB数据来测试其准确性,然后平均所有树的OOB准确性,得到整体模型的OOB评价分数。

2. 随机特征子集

        随机森林通过Bagging方法构建,但在每棵树的每个分割点上,只考虑特定数量的随机特征子集进行分裂。这样可以进一步去除树之间的相关性。通常,分类树中使用的随机特征子集大小为特征总数的平方根。

3. 特征重要性

        随机森林中的每棵决策树都可以计算每个特征对减少不纯度的贡献,并对所有树中的特征重要性进行平均,得到最终的特征重要性排序。这种方法可以帮助我们理解哪些特征在模型中最为重要。

4. 从零开始的实现

代码示例

# 引入必要的库
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, shuffle=True, random_state=42)

# 实现RandomForest类
import random, math
from sklearn.tree import DecisionTreeClassifier
from scipy import stats

class RandomForest:
    def __init__(self, B, bootstrap_ratio, with_no_replacement=True):
        self.B = B
        self.bootstrap_ratio = bootstrap_ratio
        self.with_no_replacement = with_no_replacement
        self.tree_params = {'max_depth': 2, 'max_features': 'sqrt'}
        self.models = [DecisionTreeClassifier(**self.tree_params) for _ in range(B)]
                
    def fit(self, X, y):
        m, n = X.shape
        sample_size = int(self.bootstrap_ratio * len(X))
        xsamples = np.zeros((self.B, sample_size, n))
        ysamples = np.zeros((self.B, sample_size))
        xsamples_oob = []
        ysamples_oob = []
        
        for i in range(self.B):
            oob_idx = []
            idxes = []
            for j in range(sample_size):
                idx = random.randrange(m)
                if (self.with_no_replacement):
                    while idx in idxes:
                        idx = random.randrange(m)
                idxes.append(idx)
                oob_idx.append(idx)
                xsamples[i, j, :] = X[idx]
                ysamples[i, j] = y[idx]
            mask = np.zeros((m), dtype=bool)
            mask[oob_idx] = True
            xsamples_oob.append(X[~mask])
            ysamples_oob.append(y[~mask])
    
        oob_score = 0
        print("======Out of bag score for each tree======")
        for i, model in enumerate(self.models):
            _X = xsamples[i]
            _y = ysamples[i]
            model.fit(_X, _y)
            _X_test = np.asarray(xsamples_oob[i])
            _y_test = np.asarray(ysamples_oob[i])
            yhat = model.predict(_X_test)
            oob_score += accuracy_score(_y_test, yhat)
            print(f"Tree {i}", accuracy_score(_y_test, yhat))
        self.avg_oob_score = oob_score / len(self.models)
        print("======Average out of bag score======")
        print(self.avg_oob_score)
    
    def predict(self, X):
        predictions = np.zeros((self.B, X.shape[0]))
        for i, model in enumerate(self.models):
            yhat = model.predict(X)
            predictions[i, :] = yhat
        return stats.mode(predictions)[0][0]

model = RandomForest(B=5, bootstrap_ratio=0.8)
model.fit(X_train, y_train)
yhat = model.predict(X_test)
print(classification_report(y_test, yhat))

5. Sklearn 实现

# 使用Sklearn中的RandomForestClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

param_grid = {"n_estimators": [10, 50, 100], 
              "criterion": ["gini", "entropy"],
              "max_depth": np.arange(1, 10)}
model = RandomForestClassifier()

grid = GridSearchCV(model, param_grid, refit=True)
grid.fit(X_train, y_train)

print(grid.best_params_)

yhat = grid.predict(X_test)

print(classification_report(y_test, yhat))

使用随机森林的时机

优点:

  • 通过投票机制减少过拟合
  • 可以并行计算,提高计算效率
  • 适用于高维数据
  • 提供特征重要性评估
  • 能够处理缺失数据
  • 适用于不平衡数据集
  • 能够解决分类和回归问题

缺点:

  • 对回归问题效果不如分类问题
  • 随机森林模型较为复杂,解释性较差
  • 对稀有特征或结果不敏感
  • 在某些情况下,更多的样本并不会提高准确性

        在处理结构化数据时,如果你追求高准确性而不太关心可解释性,随机森林是一个很好的选择。

结语

        随机森林作为一种集成学习方法,通过结合多棵决策树并进行投票或平均来提高模型的准确性和鲁棒性。它不仅能有效地减少单一决策树容易出现的过拟合问题,还能够处理高维数据和不平衡数据集,提供有价值的特征重要性评估。尽管随机森林在某些情况下可能缺乏深度解释性,但其强大的预测能力使其在实际应用中广受欢迎。总之,随机森林是一种灵活且强大的工具,尤其适合在对解释性要求不高的情况下追求高准确性的任务。

如果你觉得这篇博文对你有帮助,请点赞、收藏、关注我,并且可以打赏支持我!

欢迎关注我的后续博文,我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持!

标签:14,idx,oob,Python,self,Random,随机,test,model
From: https://blog.csdn.net/ljd939952281/article/details/141426712

相关文章

  • 网络自动化:利用Python和Ansible实现网络配置管理
    利用Python和Ansible实现网络配置管理是现代网络自动化中的一个关键领域。这个组合使得可以更有效地管理网络设备、减少人为错误、提高网络的可扩展性和一致性。以下是如何利用Python和Ansible实现网络配置管理的详细指南:一、使用Python进行网络自动化Python提......
  • 第146篇:响应式动态居中(js+css,vue)
    好家伙, 1.使用js原生<divid="container"style="position:relative;width:100%;height:100vh;"><divid="hero"style="position:relative;"></div></div><script>consthero=doc......
  • 基于Python的医疗诊断系统 基于Falsk的医院挂号系统 (附源码 LW PPT 包调试)
    博主介绍:✌专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、机器学习等设计与开发。主要内容:免费功能设计、开题报告、任务书、中期......
  • python学习之路 - PySpark快速入门
    目录一、PySpark实战1、前言介绍2、基础准备a、pySpark库的安装b、构建pySpark执行环境入口对象c、pySpark编程模型3、数据输入a、python数据容器转RDD对象b、读取文件内容转RDD对象4、数据计算a、map算子b、flatMap算子c、reduceByKey算子d、综合案例e、filter算子f......
  • Python入门
    #1.输出:Python是一种跨平台、开源、免费的高级编程语言。print("Python是一种跨平台、开源、免费的高级编程语言。")foriinrange(1,10):print(str(i)*i)foriinrange(1,10):j=1whilej<=i:print("*",end='')j+=1print()......
  • 基于Python的顾客购物数据可视化分析
    数据可视化分析实验数据集简介        本文在实验中考虑到实验使用设备的性能和环境的局限性,采用了kaggle官网上的的消费者购物数据集,数据地址:https://www.kaggle.com/datasets/iamsouravbanerjee/customer-shopping-trends-dataset。此数据包含了3900条记录,每条......
  • # yyds干货盘点 # 盘点一个Python正则表达式问题
    大家好,我是皮皮。一、前言前几天在Python最强王者交流群【大锤子】问了一个Python正则表达式处理的问题,这里拿出来给大家分享下。下图是代码:二、实现过程这个问题确看上去是正则表达式的问题,这里【杯酒】提出问题并给出建议:使用+号,就能匹配所有符合条件的文字,而不是第一段。不过后......
  • python和c语言有什么不同
    1、语言类型Python是一种基于解释器的语言,解释器会逐行读取代码;首先将Python编译为字节码,然后由大型C程序解释。C是一种编译语言,完整的源代码将直接编译为机器代码,由CPU直接执行。2、内存管理Python使用自动垃圾收集器进行内存管理。在C语言中,程序员必须自己进行内存管......
  • python浮点数怎么写
    python提供了三种浮点值:内置的float与complex类型,以及标准库的decimal.Decimal类型。float类型存放双精度的浮点数,具体取值范围依赖于构建python的c编译器,由于精度受限,进行相等性比较不可靠。如果需要高精度,可使用decimal模块的decimal.Decimal,这种类型可以准确的表示循环......
  • 【数模资料包】最新数模国赛word+latex模版|数模常用的算法python+matlab代码
     【2024最全国赛研赛数模资料包】C君珍贵国一数模资料|最新数模国赛word+latex模版|数模常用的算法python+matlab代码国赛指:高教社杯全国大学生数学建模竞赛,研赛指:华为杯研究生数学建模竞赛。资料内容具体看文末卡片以下是三个相关的资料内容:1C君珍贵国一数模资料2最......