在机器学习的世界里，随机森林算法以其出色的分类和回归能力而闻名。我们将深入sklearn库中的随机森林，探索如何通过实战提升模型的分类准确率。
一 随机森林算法简介
随机森林是一种集成学习方法，通过构建多个决策树并综合它们的预测结果来提高预测准确性。每个决策树都是在训练数据的一个随机子集上构建的，这种方法减少了模型间的相关性，从而增强了整体模型的泛化能力。
理论详情，请查看往期文章：揭秘Bagging与随机森林：构建更强大预测模型的秘密
二 sklean实战
在 SKLearn 中，随机森林算法被封装在RandomForestClassifier和RandomForestRegressor两个类中，分别用于分类和回归问题。这两个类提供了丰富的参数和方法，使得我们可以轻松地构建和调优随机森林模型。
1. 导入库和数据
首先，我们需要导入必要的库，并加载数据集。
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
# 加载数据
iris = datasets.load_iris()
X = iris.data
y = iris.target
# 将数据划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
2. 创建随机森林分类器
创建一个随机森林分类器实例，并设定随机种子以保证结果的可重复性。
# 创建随机森林分类器实例
rf = RandomForestClassifier(random_state=42)
3. 定义超参数网格
定义一个超参数网格，用于GridSearchCV进行搜索。
# 定义超参数网格
param_grid = {
'n_estimators': [50, 100, 200], # 树的数量
'max_depth': [None, 10, 20, 30], # 树的最大深度
'min_samples_split': [2, 5, 10], # 内部节点再划分所需最小样本数
'min_samples_leaf': [1, 2, 4] # 叶子节点所需的最小样本数
}
4. 创建并执行网格搜索
使用GridSearchCV创建一个搜索对象，并执行网格搜索。
# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)
# 执行网格搜索
grid_search.fit(X_train, y_train)
5. 查看最佳参数组合
查看网格搜索后找到的最佳参数组合，并评估最佳模型的性能。
# 查看最佳参数组合
print("Best parameters found: ", grid_search.best_params_)
print("Best cross-validation score: %.3f" % grid_search.best_score_)
# 获取最佳模型
best_rf = grid_search.best_estimator_
# 在测试集上进行预测
y_pred = best_rf.predict(X_test)
# 打印分类报告
print(classification_report(y_test, y_pred))
完整代码
将上述步骤整合成一个完整的代码块：
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
# 加载数据
iris = datasets.load_iris()
X = iris.data
y = iris.target
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 创建随机森林分类器
rf = RandomForestClassifier(random_state=42)
# 定义超参数网格
param_grid = {
'n_estimators': [50, 100, 200],
'max_depth': [None, 10, 20, 30],
'min_samples_split': [2, 5, 10],
'min_samples_leaf': [1, 2, 4]
}
# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)
# 执行网格搜索
grid_search.fit(X_train, y_train)
# 查看最佳参数组合
print("Best parameters found: ", grid_search.best_params_)
print("Best cross-validation score: %.3f" % grid_search.best_score_)
# 获取最佳模型
best_rf = grid_search.best_estimator_
# 在测试集上进行预测
y_pred = best_rf.predict(X_test)
# 打印分类报告
print(classification_report(y_test, y_pred))
