首页 > 其他分享 >机器学习分类结果精度测定 - 混淆矩阵（Confusion Matrix）

机器学习分类结果精度测定 - 混淆矩阵（Confusion Matrix）

时间：2024-07-16 17:54:16浏览次数：16  
标签：混淆 Matrix Confusion 模型 样本 矩阵 TP 预测

一、引言

机器学习和数据科学中一个经常被忽视，但至关重要的概念是模型评估。你可能已经建立了一个非常先进的模型，但如果没有合适的评估机制，你就无法了解模型的效能和局限性。这就是混淆矩阵（Confusion Matrix）派上用场的地方。

1.1 什么是混淆矩阵？

混淆矩阵是一种特定的表格布局，用于可视化监督学习算法的性能，特别是分类算法。在这个矩阵中，每一行代表实际类别，每一列代表预测类别。矩阵的每个单元格则包含了在该实际类别和预测类别下的样本数量。通过混淆矩阵，我们不仅可以计算出诸如准确度、精确度和召回率等评估指标，还可以更全面地了解模型在不同类别上的性能。

混淆矩阵是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。

 True Positive（TP）：真正类。样本的真实类别是正类，并且模型识别的结果也是正类。

 False Negative（FN）：假负类。样本的真实类别是正类，但是模型将其识别为负类。

 False Positive（FP）：假正类。样本的真实类别是负类，但是模型将其识别为正类。

 True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。

1.2 为什么需要混淆矩阵？

  1. 全面性评估：准确度（Accuracy）通常是人们首先关注的指标，但它可能掩盖模型在特定类别上的不足。混淆矩阵能提供更全面的信息。

  2. 成本效益：在某些应用场景中（如医疗诊断、欺诈检测等），不同类型的错误（False Positives 和 False Negatives）可能具有不同的成本或严重性。通过混淆矩阵，我们可以更细致地评估这些成本。

  3. 模型优化：混淆矩阵也可用于优化模型，通过分析模型在哪些方面做得好或不好，我们可以针对性地进行改进。

  4. 理论与实践的桥梁：混淆矩阵不仅有助于理论分析，也方便了实际应用。它为我们提供了一种从数据到信息，再到知识转化的有力工具。

二、基础概念

在深入了解混淆矩阵的高级应用和数学模型之前，我们首先要掌握一些基础的概念和术语。这些概念是理解和使用混淆矩阵的基础。

在二分类问题中，混淆矩阵的四个基本组成部分是：True Positives（TP）、True Negatives（TN）、False Positives（FP）和 False Negatives（FN）。我们通过以下的解释和例子来进一步了解它们。

True Positive (TP)

当模型预测为正类，并且该预测是正确的，我们称之为真正（True Positive）。

例如，在一个癌症诊断系统中，如果模型预测某患者有癌症，并且该患者实际上确实有癌症，那么这就是一个真正案例。

True Negative (TN)

当模型预测为负类，并且该预测是正确的，我们称之为真负（True Negative）。

例如，在上述癌症诊断系统中，如果模型预测某患者没有癌症，并且该患者实际上确实没有癌症，那么这就是一个真负案例。

False Positive (FP)

当模型预测为正类，但该预测是错误的，我们称之为假正（False Positive）。

例如，如果模型预测某患者有癌症，但该患者实际上没有癌症，那么这就是一个假正案例。

False Negative (FN)

当模型预测为负类，但该预测是错误的，我们称之为假负（False Negative）。

例如，如果模型预测某患者没有癌症，但该患者实际上有癌症，那么这就是一个假负案例。

举例：

如有150个样本数据，预测为类I，类II，类III 各为50个。分类结束后得到的混淆矩阵为：

每一行之和表示该类别的真实样本数量，每一列之和表示被预测为该类别的样本数量。

第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类。

混淆矩阵是对分类问题的预测结果的总结。使用计数值汇总正确和不正确预测的数量，并按每个类进行细分，这是混淆矩阵的关键所在。混淆矩阵显示了分类模型的在进行预测时会对哪一部分产生混淆。它不仅可以让您了解分类模型所犯的错误，更重要的是可以了解哪些错误类型正在发生。正是这种对结果的分解克服了仅使用分类准确率所带来的局限性。

从混淆矩阵得到分类指标

从混淆矩阵当中，可以得到更高级的分类指标：Accuracy（精确率），Precision（正确率或者准确率），Recall（召回率），Specificity（特异性），Sensitivity（灵敏度）。

样例总数 = TP + FP + TN + FN。

精确率（Accuracy）和正确率（Precision）的区别

Accuracy，不管是哪个类别，只要预测正确，其数量都放在分子上，而分母是全部数据量，说明这个精确率是对全部数据的判断。
而正确率在分类中对应的是某个类别，分子是预测该类别正确的数量，分母是预测为该类别的全部的数量。
或者说，Accuracy是对分类器整体上的精确率的评价，而Precision是分类器预测为某一个类别的精确的评价。

三、数学原理

混淆矩阵不仅是一种实用工具，还有深厚的数学基础。了解其背后的数学原理可以帮助我们更全面地评估和改进模型。本部分将重点介绍这些数学原理。

条件概率与贝叶斯定理

混淆矩阵和多个评价指标与条件概率有关。在贝叶斯定理的框架下，我们可以更精确地描述这种关系。

例如，我们可以使用贝叶斯定理来计算给定某一观测实际为正类的条件下，模型预测其为正类的概率。

敏感性与特异性

敏感性（Sensitivity，也称为召回率）和特异性（Specificity）是医学诊断等领域中常用的指标。

这两个指标用于评估模型在正类和负类上的表现。

  • 其实我们可以发现敏感性和召回率是一模一样的，只是名字换了而已。
  • 由于我们比较关心正样本，所以需要查看有多少负样本被错误地预测为正样本，所以使用（1-特异性），而不是特异性。

真正率（TPR） = 敏感性 = TP/(TP+FN)

假正率（FPR） = 1- 特异性 = FP/(FP+TN)

下面是真正率和假正率的示意，我们发现TPR和FPR分别是基于实际表现1和0出发的，也就是说它们分别在实际的正样本和负样本中来观察相关概率问题。正因为如此，所以无论样本是否平衡，都不会被影响。还是拿之前的例子，总样本中，90%是正样本，10%是负样本。我们知道用准确率是有水分的，但是用TPR和FPR不一样。这里，TPR只关注90%正样本中有多少是被真正覆盖的，而与那10%毫无关系，同理，FPR只关注10%负样本中有多少是被错误覆盖的，也与那90%毫无关系，所以可以看出：如果我们从实际表现的各个结果角度出发，就可以避免样本不平衡的问题了，这也是为什么选用TPR和FPR作为ROC/AUC的指标的原因。

ROC与AUC

ROC（Receiver Operating Characteristic，受试者工作特性）曲线是一种常用的工具，用于展示二分类模型性能的不同阈值下的真正率（True Positive Rate，TPR）和假正率（False Positive Rate，FPR）。

AUC（Area Under the Curve，曲线下面积）则是ROC曲线下的面积，用于量化模型的整体性能。

阈值选择与成本效应

在实际应用中，根据业务需求和成本效应来选择适当的阈值是至关重要的。通过调整阈值，我们可以控制模型的假正率和假负率，从而实现特定目标，如最大化精确度或召回率。

G-Measure与Fβ分数

除了常用的F1分数之外，还有其他一些用于平衡精确度和召回率的指标，如G-Measure和Fβ分数。

通过深入了解这些数学原理，我们不仅可以更准确地评估模型，还可以针对具体应用场景做出更合适的模型调整。下一部分，我们将进入代码实战，展示如何在Python和PyTorch环境中使用混淆矩阵进行模型评估。

四、Python实现

混淆矩阵的实现并不复杂，但是用代码来实现它会让理论知识更加具体和实用。在这一部分，我们将使用Python和PyTorch库来实现混淆矩阵，并计算一些基础的评价指标。

计算混淆矩阵元素

首先，让我们用Python代码来计算一个二分类问题的混淆矩阵元素：TP、TN、FP、FN。

import numpy as np

# 假设y_true是真实标签，y_pred是模型预测标签
y_true = np.array([1, 0, 1, 1, 0, 1, 0])
y_pred = np.array([1, 0, 1, 0, 0, 1, 1])

# 初始化混淆矩阵元素
TP = np.sum((y_true == 1) & (y_pred == 1))
TN = np.sum((y_true == 0) & (y_pred == 0))
FP = np.sum((y_true == 0) & (y_pred == 1))
FN = np.sum((y_true == 1) & (y_pred == 0))

print(f"TP: {TP}, TN: {TN}, FP: {FP}, FN: {FN}")

输出：

TP: 3, TN: 2, FP: 1, FN: 1

计算评价指标

有了混淆矩阵的元素，接下来我们可以计算一些基础的评价指标，比如准确度（Accuracy）、精确度（Precision）、召回率（Recall）和F1分数（F1-Score）。

# 计算评价指标
accuracy = (TP + TN) / (TP + TN + FP + FN)
precision = TP / (TP + FP)
recall = TP / (TP + FN)
f1_score = 2 * (precision * recall) / (precision + recall)

print(f"Accuracy: {accuracy:.2f}, Precision: {precision:.2f}, Recall: {recall:.2f}, F1-Score: {f1_score:.2f}"

输出：

Accuracy: 0.71, Precision: 0.75, Recall: 0.75, F1-Score: 0.75

PyTorch实现

对于使用PyTorch的深度学习模型，我们可以更方便地使用内置函数来计算这些指标。

import torch
import torch.nn.functional as F
from sklearn.metrics import confusion_matrix

# 假设logits是模型输出，labels是真实标签
logits = torch.tensor([[0.4, 0.6], [0.7, 0.3], [0.2, 0.8]])
labels = torch.tensor([1, 0, 1])

# 使用softmax获取预测概率
probs = F.softmax(logits, dim=1)
predictions = torch.argmax(probs, dim=1)

# 使用sklearn获取混淆矩阵
cm = confusion_matrix(labels.numpy(), predictions.numpy())
print("Confusion Matrix:", cm)

输出：

Confusion Matrix: [[1, 0],
                   [0, 2]]

这样，我们就可以使用Python和PyTorch来实现混淆矩阵及其相关评价指标。在下一部分中，我们将通过实例来展示如何在实际项目中应用这些概念。

五、实例分析

理论和代码是用于理解混淆矩阵的重要工具，但将它们应用于实际问题是最终目标。在这一部分，我们将通过一个具体实例——肺癌诊断——来展示如何使用混淆矩阵以及相应的评价指标。

数据集简介

假设我们有一个肺癌诊断的数据集，其中包括1000个样本。每个样本都有一组医学影像和相应的标签（1表示患有肺癌，0表示没有）。

建立模型

在这个例子中，我们将使用PyTorch来建立一个简单的神经网络模型。代码的核心逻辑如下：

import torch
import torch.nn as nn
import torch.optim as optim

# 简单的神经网络模型
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(128, 64)
        self.fc2 = nn.Linear(64, 2)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 实例化模型、优化器和损失函数
model = SimpleNN()
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

模型评估

训练模型后，我们将使用混淆矩阵来评估其性能。

from sklearn.metrics import confusion_matrix

# 假设y_test是测试集的真实标签，y_pred是模型的预测标签
y_test = np.array([1, 0, 1, 1, 0, 1, 0])
y_pred = np.array([1, 0, 1, 0, 0, 1, 1])

# 获取混淆矩阵
cm = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:", cm)

输出：

Confusion Matrix: [[2, 1],
                   [1, 3]]

指标解读

从混淆矩阵中，我们可以计算准确度、精确度、召回率等指标。但更重要的是，由于这是一个医疗诊断问题，FN（假负率）可能意味着漏诊，这是不能接受的。因此，在这种情况下，我们可能需要更关注召回率或者F1分数，而不仅仅是准确度。

结论

通过这个实例，我们可以看到混淆矩阵不仅提供了一种量化模型性能的方法，而且还能帮助我们根据实际应用场景来调整模型。这使得混淆矩阵成为了机器学习和数据科学领域中不可或缺的工具。

在下一部分，我们将总结全文，并讨论一些混淆矩阵的高级主题和应用前景。

六、总结

混淆矩阵不仅是机器学习分类问题中的一个基础概念，而且它是理解和评估模型性能的关键工具。通过矩阵，我们不仅可以量化模型的好坏，还能深入理解模型在各个方面（如准确度、精确度、召回率等）的表现。

  1. 应用场景的重要性: 混淆矩阵不是一个孤立的工具，它的重要性在于如何根据特定应用场景（如医疗诊断、金融欺诈等）来解读。在某些高风险领域，某些类型的错误（如假负）可能比其他错误更为严重。

  2. 优化方向: 通过混淆矩阵，我们可以更明确模型改进的方向。例如，如果我们的模型假负率很高，那就意味着需要更多地关注召回率，可能要重新平衡数据集或者调整模型结构。

  3. 阈值的选择: 通常我们使用0.5作为分类阈值，但这个值并不一定是最优的。混淆矩阵可以帮助我们通过改变阈值来优化模型性能。

  4. 多分类问题: 虽然本文主要讨论了二分类问题，但混淆矩阵同样适用于多分类问题。在多分类问题中，混淆矩阵将变为更高维的张量，但核心概念和应用方法仍然适用。

  5. 模型解释性: 在现实世界的应用中，模型解释性常常和模型性能同等重要。混淆矩阵为我们提供了一种可解释、直观的方式来展示模型的优缺点。

  6. 自动化与监控: 在生产环境中，混淆矩阵可以作为一个持续监控工具，用于跟踪模型性能的变化，从而实时调整模型或者及时发现问题。

混淆矩阵是一种强大而灵活的工具，不仅适用于初级用户，也适用于在这个领域有着深厚经验的专家。无论是从事学术研究，还是从业者，混淆矩阵都应成为您工具箱中不可或缺的一部分。希望本文能帮助您更深入地理解这一主题，并在实际应用中发挥其最大价值。

标签：混淆,Matrix,Confusion,模型,样本,矩阵,TP,预测
From： https://blog.csdn.net/Yophan/article/details/140456229

相关文章

  • 矩阵优化 DP 以及全局平衡二叉树实现的动态 DP 学习笔记
    矩阵乘法求斐波那契数列的第\(n\)项，其中\(n\le10^{18}\)，对数\(m\)取模。写出转移方程，\(f_i=f_{i-1}+f_{i-2}\)，直接算是\(O(n)\)的，似乎没什么办法优化。定义大小分别为\(n\timesp\)和\(p\timesm\)的矩阵（分别为\(a\)和\(b\)）相乘的结果（矩阵\(c\)）是一个大小为\(......
  • [ARC115B] Plus Matrix 的题解
    题目大意给你一个\(n\timesn\)的数组\(C\)，\(c_{i,j}=a_i+b_j\)，求\(a\)数组与\(b\)数组，不保证有解，其中\(1\len\le500,1\lec_{i,j}\le10^9\)，而且\(a_i,b_i\)都是非负整数。\[\begin{bmatrix}a_1+b_1&a_1+b_2&\cdots&a_1+b_{n-1}&a_1+b_n\\a_2+b_......
  • 【Leetcode--旋转矩阵】
    解题思路：先进行矩阵上下交换，接着对矩阵进行主对角线交换，就可以从上述左图变换为右图。classSolution{  publicvoidrotate(int[][]matrix){    //上下交换    for(inti=0;i<matrix.length/2;i++){      int[]temp=matrix[......
  • hnust 1963: 邻接矩阵表示法
    hnust1963:邻接矩阵表示法题目描述输入一个图，用邻接矩阵存储，并实现一些操作。拷贝下面的代码，按要求完成其中的FirstAdjVex，NextAdjVex和CreateUDG操作，其他地方不得改动。//邻接矩阵表示图#include<iostream>#include<iomanip>#include<cstdio>usingnamespaces......
  • 云微客短视频矩阵辅助短视频营销，让你获客没压力
    抖音依靠短视频赚取了庞大的用户基数，强大的算法为企业和创作者提供了无限的商业可能。现如今，数字营销快速发展，实体行业只做线下营销显然有些捉襟见肘，因此线上营销就成为了企业品牌与消费者互动的重要媒介。云微客布局短视频矩阵就是通过一系列各具特色的短视频内容，构建一个......
  • OpenJudge | 矩阵交换行
    总时间限制:1000ms内存限制:65536kB描述编写一个函数，输入参数是55的二维数组，和n，m两个行下标。功能：判断n，m是否在数组范围内，如果不在，则返回0；如果在范围内，则将n行和m行交换，并返回1。在main函数中，生成一个55的矩阵，输入矩阵数据，并输入n，m的值。调用前面的函数。如果返回值......
  • Lingo学习（二）——线性规划基础、矩阵工厂
    一、线性规划基础（一）方法①一个线性规划中只含一个目标函数。(两个以上是多目标线性规划,Lingo无法直接解)②求目标函数的最大值或最小值分别用max=…或min=…来表示。③以!开头,以;结束的语句是注释语句;④线性规划和非线性规划的本质区别是目标函数是否线性......
  • 输入一个正整数n (1≤ n ≤6),再输入一个n 行n列的矩阵，找出该矩阵中绝对值最大的元素
    /输入一个正整数n(1≤n≤6),再输入一个n行n列的矩阵，找出该矩阵中绝对值最大的元素以及它的行下标和列下标。/#include<stdio.h>voidfun(void){intn,i,j;intmax_val=0,max_row=0,max_col=0;printf("pleaseenternumber,1<=number<=6\n");......
  • 【数组、特殊矩阵的压缩存储】
    目录一、数组1.1、一维数组1.1.1、一维数组的定义方式1.1.2、一维数组的数组名1.2、二维数组1.2.1、二维数组的定义方式1.2.2、二维数组的数组名二、对称矩阵的压缩存储三、三角矩阵的压缩存储四、三对角矩阵的压缩存储五、稀疏矩阵的压缩存储一、数组概述：数组是......
  • 短视频平台搭建矩阵系统源码（搭建技术开发分享）
    #短视频矩阵#矩阵系统#矩阵源码搭建 技术自研框架开发背景：抖音账号矩阵系统是一种基于数据分析和管理的全新平台，能够帮助用户更好地管理、扩展和营销抖音账号，那矩阵的顾名思义就是可以批量话的制作和生成，来完成自己的需求和任务。//视频批量剪辑模式    $video......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99