首页 > 其他分享 >机器学习模型评估指标

机器学习模型评估指标

时间：2025-01-12 22:28:48浏览次数：3  
标签：plt 机器 模型 train test import model 评估 sklearn

模型的评估指标是衡量一个模型应用于对应任务的契合程度，常见的指标有：

  1. 准确率（Accuracy）: 正确预测的样本数占总样本数的比例。适用于类别分布均衡的数据集。

  2. 精确率（Precision）: 在所有被预测为正类的样本中，实际为正类的比例。高精确率意味着较少的假正例。

  3. 召回率（Recall）: 在所有实际为正类的样本中，被正确预测为正类的比例。高召回率意味着较少的假负例。

  4. F1分数（F1 Score）: 精确率和召回率的调和平均，是两者之间的平衡指标。F1分数在类别不平衡时特别有用。

  5. AUC-ROC曲线下面积（AUC）: ROC曲线下的面积，衡量模型对正负样本的区分能力。AUC值越高，模型性能越好。

  6. 平均精度（Average Precision）: 每个类别的精确率的平均值，特别用于多标签分类问题。

  7. 平均召回率（Average Recall）: 每个类别的召回率的平均值，同样适用于多标签分类。

  8. 混淆矩阵（Confusion Matrix）: 一个表格，显示了实际类别与预测类别之间的关系，可以用来计算上述指标。

  9. 平均F1分数（Average F1 Score）: 对每个类别计算F1分数后取平均值。

  10. 马修距离（Mean Absolute Error, MAE）: 预测值与真实值之间差的绝对值的平均。

  11. 均方误差（Mean Square Error, MSE）: 预测值与真实值之间差的平方的平均值。

  12. 均方根误差（Root Mean Square Error, RMSE）: MSE的平方根，提供了误差的尺度化度量。

  13. 对数平均绝对误差（Mean Absolute Percentage Error, MAPE）: 预测值与真实值之间差的绝对值的百分比的平均值。

  14. 洛斯损失（Log Loss）: 常用于逻辑回归模型，衡量预测概率与实际标签之间的差异。

  15. 杰卡指数（Jaccard Index）: 1减去预测类别与真实类别的交集与并集的比例，用于衡量两个集合的相似度。

结合场景来看待这些指标：

  1. 分类问题（Classification）:

    • 类别不平衡（Class Imbalance）: 在这种情况下，召回率（Recall）和F1分数（F1 Score）通常比准确率（Accuracy）更能反映模型性能，因为准确率可能会因为多数类而产生误导。
    • 多类别分类（Multi-class Classification）: 精确率（Precision）、召回率（Recall）和F1分数（F1 Score）可以为每个类别单独计算，然后平均得到宏平均（Macro-average）或微平均（Micro-average）指标。

  2. 回归问题（Regression）:

    • 均方误差（Mean Squared Error, MSE）和均方根误差（Root Mean Squared Error, RMSE）是衡量预测值与实际值之间差异的常用指标。
    • 平均绝对误差（Mean Absolute Error, MAE）提供了预测误差的平均绝对值，对异常值不敏感。

  3. 异常检测:

    • 查准率（Precision）和召回率（Recall）在这里同样重要，尤其是在异常类别较少的情况下。

  4. 排名问题:

    • 平均精度（Mean Average Precision, MAP）是一个关键指标，它衡量的是模型在整个排名列表中保持高精确度的能力。

  5. 多标签分类:

    • 每个标签的精确率和召回率可以单独计算，然后根据标签的分布进行加权平均。

  6. 多输出问题:

    • 对于每个输出变量，可以单独计算MSE、RMSE或准确率等指标。

1.准确率

即希望11（模型正确预测正例）、10（模型正确预测负例）的占比更高

基本原理

准确率是将预测正确的样本数量与总样本数量之比，它衡量的是模型在整个数据集上的表现。然而，当数据集不平衡（即某一类样本数量明显多于其他类别）时，准确率可能不是一个很好的评估指标，因为即使模型预测所有样本都属于多数类别，也能获得相对较高的准确率。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

# 绘制混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(conf_matrix)

# 绘制评估指标
plt.imshow(conf_matrix, cmap='binary', interpolation='None')
plt.colorbar()
plt.xticks([0, 1])
plt.yticks([0, 1])
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.title('Confusion Matrix')
plt.show()

2.精确率

基本原理

精确率的核心思想是衡量模型在所有预测为正类别的样本中，真正为正类别的样本所占的比例。这个指标对于那些需要准确识别正例的任务尤为重要，比如医学诊断中的疾病检测。高精确率表示模型在识别正例方面有很好的表现。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, confusion_matrix

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算精确率
precision = precision_score(y_test, y_pred)
print("Precision:", precision)

# 绘制混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(conf_matrix)

# 绘制评估指标
plt.imshow(conf_matrix, cmap='binary', interpolation='None')
plt.colorbar()
plt.xticks([0, 1])
plt.yticks([0, 1])
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.title('Confusion Matrix')
plt.show()

3.召回率

基本原理

召回率的核心思想是衡量模型在识别正例方面的表现。它强调了模型对于实际为正类别的样本的识别能力，对于那些需要尽量避免漏诊的任务，比如疾病检测，召回率是一个非常重要的评估指标。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import recall_score, confusion_matrix

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算召回率
recall = recall_score(y_test, y_pred)
print("Recall:", recall)

# 绘制混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(conf_matrix)

# 绘制评估指标
plt.imshow(conf_matrix, cmap='binary', interpolation='None')
plt.colorbar()
plt.xticks([0, 1])
plt.yticks([0, 1])
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.title('Confusion Matrix')
plt.show()

4.F1分数

基本原理

F1分数综合考虑了模型的精确率和召回率，因此可以在一定程度上弥补精确率和召回率单独使用时的不足。F1分数越高，表示模型在识别和预测正类别方面的综合表现越好。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score, confusion_matrix

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算F1分数
f1 = f1_score(y_test, y_pred)
print("F1 Score:", f1)

# 绘制混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(conf_matrix)

# 绘制评估指标
plt.imshow(conf_matrix, cmap='binary', interpolation='None')
plt.colorbar()
plt.xticks([0, 1])
plt.yticks([0, 1])
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.title('Confusion Matrix')

plt.show()

5.ROC曲线和AUC

基本原理

ROC曲线基于真正例率和假正例率，它展示了在不同分类阈值下，模型在识别正例和负例方面的性能。ROC曲线上的点越靠近左上角，表示模型性能越好。AUC是ROC曲线下的面积，它等于ROC曲线与横轴之间的面积，可以用来比较不同模型的性能，AUC越大表示模型性能越好。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred_proba = model.predict_proba(X_test)[:, 1]

# 计算ROC曲线和AUC
fpr, tpr, thresholds = roc_curve(y_test, y_pred_proba)
roc_auc = auc(fpr, tpr)
print("AUC:", roc_auc)

# 绘制ROC曲线
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic Curve')
plt.legend(loc="lower right")
plt.show()

6.混淆矩阵

基本原理

混淆矩阵用于描述模型在不同类别上的预测结果，帮助评估模型的分类准确性和错误情况。通过混淆矩阵，可以计算出模型的精确率、召回率、F1分数等评估指标，从而更全面地评估模型的性能。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(conf_matrix)

# 绘制混淆矩阵
plt.imshow(conf_matrix, cmap='binary', interpolation='None')
plt.colorbar()
plt.xticks([0, 1])
plt.yticks([0, 1])
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.title('Confusion Matrix')
plt.show()

7.均方误差

基本原理

均方误差衡量了模型的预测值与真实值之间的平均偏差的平方。当模型的预测值与真实值之间的偏差较大时，MSE会增大；而当偏差较小时，MSE会减小。因此，MSE越小表示模型对数据的拟合程度越好。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 生成模拟数据集
X, y = make_regression(n_samples=100, n_features=1, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print("Mean Squared Error:", mse)

# 绘制评估指标
plt.scatter(X_test, y_test, color='black', label='Actual')
plt.plot(X_test, y_pred, color='blue', linewidth=3, label='Predicted')
plt.title('Actual vs Predicted')
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.show()

8.平均绝对误差

基本原理

平均绝对误差衡量了模型的预测值与真实值之间的平均绝对偏差。当模型的预测值与真实值之间的偏差较大时，MAE会增大；而当偏差较小时，MAE会减小。因此，MAE越小表示模型对数据的拟合程度越好。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

# 生成模拟数据集
X, y = make_regression(n_samples=100, n_features=1, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算平均绝对误差
mae = mean_absolute_error(y_test, y_pred)
print("Mean Absolute Error:", mae)

# 绘制评估指标
plt.scatter(X_test, y_test, color='black', label='Actual')
plt.plot(X_test, y_pred, color='blue', linewidth=3, label='Predicted')
plt.title('Actual vs Predicted')
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.show()

9.对数损失

基本原理

对数损失衡量了模型的预测概率分布与真实标签之间的差异。当模型的预测概率分布与真实标签完全一致时，对数损失为0；当二者差异较大时，对数损失增大。因此，对数损失越小表示模型性能越好。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss

# 生成模拟数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred_proba = model.predict_proba(X_test)

# 计算对数损失
logloss = log_loss(y_test, y_pred_proba)
print("Log Loss:", logloss)

# 绘制评估指标
thresholds = np.linspace(0.01, 0.99, 100)
logloss_values = []
for threshold in thresholds:
    y_pred_threshold = (y_pred_proba[:, 1] > threshold).astype(int)
    logloss_values.append(log_loss(y_test, y_pred_threshold))

plt.plot(thresholds, logloss_values)
plt.xlabel('Threshold')
plt.ylabel('Log Loss')
plt.title('Log Loss vs Threshold')
plt.show()

10.R平方

基本原理

R平方衡量了模型对数据的拟合程度，其取值范围在0到1之间。当模型对数据的拟合程度越好时，R平方越接近1；当模型对数据的拟合程度较差时，R平方越接近0。当模型的拟合程度与随机平均水平相当时，R平方可能为负。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score

# 生成模拟数据集
X, y = make_regression(n_samples=100, n_features=1, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 在测试集上做预测
y_pred = model.predict(X_test)

# 计算R平方
r2 = r2_score(y_test, y_pred)
print("R-squared:", r2)

# 绘制评估指标
plt.scatter(X_test, y_test, color='black', label='Actual')
plt.plot(X_test, y_pred, color='blue', linewidth=3, label='Predicted')
plt.title('Actual vs Predicted')
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.show()

11.交叉验证分数

基本原理

交叉验证分数的原理是通过多次训练和测试模型，利用每次测试集上的性能指标来评估模型的泛化能力。通过多次重复这个过程并计算平均值，可以得到更可靠的性能评估结果。

核心点

代码例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 初始化逻辑回归模型
model = LogisticRegression()

# 计算交叉验证分数
cv_scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')

# 打印交叉验证分数
print("Cross-Validation Scores:", cv_scores)
print("Mean Cross-Validation Score:", np.mean(cv_scores))

# 绘制评估指标
plt.plot(range(1, 6), cv_scores, marker='o')
plt.xlabel('Fold')
plt.ylabel('Accuracy')
plt.title('Cross-Validation Scores')
plt.show()

标签：plt,机器,模型,train,test,import,model,评估,sklearn
From： https://blog.csdn.net/yuange1666/article/details/145019891

相关文章

  • Python与大语言模型的透明度与可解释性研究
    文章目录一、透明度与可解释性的重要性二、Python在大语言模型透明度与可解释性中的应用2.1LIME（LocalInterpretableModel-agnosticExplanations）2.2SHAP（SHapleyAdditiveexPlanations）2.3Captum2.4ELI5三、提升大语言模型透明度与可解释性的策略3.1模型可视化3.2......
  • 如何用Python实现大语言模型的公平性优化
    在当今的人工智能领域，大语言模型（LLMs）如GPT-3、BERT等已经展示了其在自然语言处理任务中的强大能力。然而，随着这些模型的应用范围不断扩大，其潜在的公平性问题也日益凸显。公平性问题可能表现为模型在处理不同性别、种族、文化背景等敏感属性时的偏见。因此，如何优化大语言模型......
  • PowerBI_一分钟学会三大模型关系（实线、虚线、虚拟）
    在PowerBI中，模型的关系是数据建模的基础，这些关系决定了不同表之间如何相互连接和交互。在这篇博客文章中，我将详细介绍三种关系：实线关系、虚线关系和虚拟关系，并解释它们的异同。最后，我将探讨如何使用USERELATIONSHIP和TREATAS函数来处理这些关系。1：X-MIND思维导图2：三大......
  • Cline 免费插件 + Qwen2.5 大模型，零经验也能开发“对联王”微信小程序
    小朋友即将放寒假了，意味着春节就不远了。在我们湖北老家，当我还是学生的时候，每年临近春节，写春联、贴春联和对春联是读书人一件乐事。如今，老牛同学早已不是读书人，但还是怀念那时快乐时光，因此想在春节前撸一个“对联王”微信小程序，专门用于创作春联和对春联。上次零经验的我们，借助......
  • 【AI中数学-线代-综合实例-包括python实现】 聚焦注意力：解析GPT等大模型中的注意力机
    第三章线性代数--综合实例第11节聚焦注意力：解析GPT等大模型中的注意力机制在人工智能的众多技术中，注意力机制（AttentionMechanism）无疑是推动大规模模型如GPT（GenerativePre-trainedTransformer）取得突破性进展的关键因素之一。本节将通过五个实际应用案例，深入解析注意力机......
  • Python AI教程之十八：监督学习之决策树（9) 决策树模型中的过度拟合
    决策树模型中的过度拟合在机器学习中，决策树是一种常用的预测工具。然而，使用这些模型时遇到的一个常见问题是过度拟合。在这里，我们探讨决策树中的过度拟合以及应对这一挑战的方法。决策树为什么会出现过度拟合？决策树模型中的过度拟合是指决策树变得过于复杂，并捕获训练数......
  • 探讨人工智能机器人学之路径规划与导航：A*算法、Dijkstra算法等路径规划方法
    引言在人工智能（AI）和机器人学中，路径规划与导航是一个至关重要的课题。机器人在复杂的环境中，必须能够根据环境信息和目标要求，自动计算一条从起始位置到目标位置的最优或可行的路径。路径规划不仅仅是关于如何找到目标位置，还涉及如何在多变、动态的环境中避免障碍、实现效率和安......
  • 浅析人工智能机器人学之运动控制与感知：机器人运动规划、传感器数据处理
    人工智能机器人学之运动控制与感知：机器人运动规划、传感器数据处理机器人学（Robotics）是人工智能（AI）最为重要且富有挑战性的应用领域之一。在这一领域，机器人需要能够与物理世界进行有效交互，以完成任务并确保操作的精确性与安全性。为了实现这一目标，机器人学结合了多个子领域，其中......
  • 模式识别与机器学习
    文章目录考试题型零、简介1.自学内容(1)机器学习(2)机器学习和统计学中常见的流程(3)导数vs梯度(4)KL散度(5)凸优化问题2.基本概念3.典型的机器学习系统4.前沿研究方向举例一、逻辑回归1.线性回归2.逻辑回归3.随堂练习二、贝叶斯学习基础1.贝叶斯公式2.贝叶斯决策3.......
  • 大语言模型入门指南：一篇掌握学习计划和路线，给自己三个月然后惊艳所有人
    课题介绍一、方向介绍在不到四年时间里，Transformer模型以其强大的性能迅速在NLP社区崭露头角，进而，基于Transformer这一标准架构的BERT、T5，乃至当下热门的GPT模型已经逐渐成为各个领域中的不可或缺的模型架构。深入理解Transformer模型背后的底层原理，以及Transformer相关的......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99