首页 > 其他分享 >离线评价指标

离线评价指标

时间:2023-07-03 23:36:36浏览次数:35  
标签:F1 预测 样本 离线 TP 指标 micro 评价 FN

评价指标

首先在介绍二分类的评价指标之前,先介绍几个常见概念用于计算其中的accuracy,precision,recall,F1

TP、FP、FN、TN

TP:True Positive,FP:False Positive,FN:False Negative,TN:True Negative
后面的p或是n分别代表预测情况,即预测是正样本还是负样本;然后前者t或是f则代表预测值正确与否。
TP:分类器预测结果为正样本,实际预测正确,是正样本。(即正样本被正确识别的数量)
FP:分类器预测结果为正样本,实际预测错误,是负样本。(即误报的负样本数量)
FN:分类器预测结果是负样本,实际预测错误,是正样本。(即漏报的正样本的数量)
TN:分类器预测结果是负样本,实际预测正确,是负样本。(即负样本被正确识别的数量)
常见的评价指标是由上述构成

Precision精确率

P指标表示预测正确的正样本的准确率,预测为真但是实际为假的样本越少,precision的值越大。

\[P=\frac{TP}{TP+FP} \]

Recall召回率

R指标表示预测正确的样本的覆盖率,TP+FN的数量实际上为Ground Truth的数量,recall的值越大,漏检的数量就越小。

\[R=\frac{TP}{TP+FN} \]

F1值

精确率越高越好,召回率也越高越好。

\[F1=2×\frac{P×R}{P+R} \]

Accuracy精确率

Accuracy指标表示预测正确的样本比例。

\[Accuracy=\frac{TP+TN}{样本总数} \]

另外还有一些额外的指标:二分类常用area under curve(AUC),多分类常用macro F1和micro F1。

Area Under Curve(AUC)

ROC曲线(Receiver Operator Characteristic Curve,译为接收者操作特性曲线)。ROC曲线以FPR为X轴;TPR为Y轴,如下图所示。

Random Forest ROC curve AUC被定义为ROC曲线下与坐标轴围成的面积,这个面积的数值是不会大于1,AUC的取值范围在0.5和1之间。AUC是一种衡量机器学习模型分类性能的重要且非常常用的指标,其只能用于二分类的情况。AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性大于将负例预测为正例的可能性的概率。AUC越接近1,分类器性能越好。

macro F1宏平均

Confusion Matrix 借助上图,可以得到高、中、低、无档位的F1分数分别是0.6、0.5、0.53、0.4。然后对各F1分数求平均得到,macro F1 = (0.6 + 0.5 + 0.53 + 0.4) / 4 = 0.51,macro F1受各类的影响是平等的,不会被大的类别主导。即先求出各个类别的p、r、f1值,再得到其算术平均值。

micro F1微平均

微平均(Micro- average)。是计算数据集总体的TP、FP、TN、FN (类别 1.2. ....对应的TP、FP、TN、FN样例个数都分别加起来,同样地,这些样例个数计算方式是将多分类转为n个二分类,(即one-vs-all),建立全局混淆矩阵,然后计算相应指标。

\[micro\_P=\frac{\sum_{i=1}^{n} TP_{i}}{\sum_{i=1}^{n} TP_{i}+\sum_{i=1}^{n} FP_{i}} \]

\[micro\_R=\frac{\sum_{i=1}^{n} TP_{i}}{\sum_{i=1}^{n} TP_{i}+\sum_{i=1}^{n} FN_{i}} \]

\[micro\_F1=\frac{2×micro\_P×micro\_R}{micro\_P+micro\_R} \]

标签:F1,预测,样本,离线,TP,指标,micro,评价,FN
From: https://www.cnblogs.com/charlton-99ing/p/17521742.html

相关文章

  • 机器翻译 | 机器翻译评测指标
    机器翻译领域最困难的任务之一就是对给定的翻译系统或者翻译算法进行评价,我们称其为机器翻译评测。事实上,在科学研究和工业界的任何一个领域,如果提出一个新的算法并声称其具有良好的性能,都需要使用某种通用的、被广泛承认的评价标准为这个算法“打分”。这个分数不仅要体现出......
  • SPINAND UBI 离线烧录 开发指南
    SPINANDUBI离线烧录开发指南1概述编写目的:介绍SunxiSPINand烧写时的数据布局2名词解释词义UBIunsortedblockimagePEBphysicaleraseblockLEBlogicaleraseblockPEB和logicalblock关系1PEB=1logicalblock1logicalblock=2physicalblocks3总体数据布局ub......
  • 全志Tina Linux SPINAND UBI 离线烧录 开发指南 支持百问网T113 D1-H哪吒 DongshanPI-
    1概述编写目的:介绍SunxiSPINand烧写时的数据布局2名词解释词义UBIunsortedblockimagePEBphysicaleraseblockLEBlogicaleraseblockPEB和logicalblock关系1PEB=1logicalblock1logicalblock=2physicalblocks3总体数据布局ubi方案FLASH上的数据布局sys_pa......
  • [PLC]Proface普洛菲斯进入离线模式的方法
       进入离线的方法参考手册第M.1.2章节进入离线模式    Proface ChinaTechnical Support DepartmentSky 进入离线的方法参考手册第M.1.2章节进入离线模式 进入离线的方法•  方法1  上电时直接进入离线在显示开始画面后, 触摸屏幕右......
  • postgresql离线安装及双机热备
    前言:本文是做主库的热备份到从库,即主库中的数据即时备份到从库,第1-5步是要在主机和备机都要执行,第6步是主机的数据库初始化,第8步是备机的数据库初始化1.安装依赖(主机,备机)root用户在一台有网的电脑上先下载好所需的依赖yuminstall--downloadonly--downloaddir=/tmp/zlib-d......
  • 离线安装ffmpeg源码包【详细教程】
    今天分享一下ffmpeg源码包的安装过程,针对在没有网络环境下,且不能直接使用yum如何成功安装ffmpeg源码包。博主本人通过正式服务器测试,记录整个安装过程。值得大家收藏同时,我会分享一下如何使用ffmpeg对H.264格式视频(MP4)进行m3u8+ts切片的转换,并生成m3u8+ts格式文件ffmpeg所需要环......
  • 深度学习 训练模型 指标不变
    在深度学习实验中遇到一个问题就是虽然loss有变化,但是在验证集中准确率一直没变,且值接近你的验证集的正负样本比例。这是因为,在模型中某一个位置使用看ReLU激活函数,导致值全都变换到了非负数,再最后用sigmoid的时候全是>0.5的结果。还有一种情况就是loss一直不变,这类情况说明反......
  • gmap构建离线地图,用createCustomerTiledLayer方法,瓦片地址尾部多了 ?x={x}&y={y}&z&{z
    gmap构建离线地图,用createCustomerTiledLayer方法,瓦片地址尾部多了?x={x}&y={y}&z&{z}导致无法显示地图。functioninitMap(){this.map=newGL.Map('map',{center:"120.650847,31.3092434",zoom:12,zoomControl:f......
  • MATLAB代码:分布式最优潮流 本文以全局电压的低成本快速控制为目标,提出基于电气距离和
    MATLAB代码:分布式最优潮流关键词:网络划分;分布式光伏;集群电压控制;分布式优化;有功缩减参考文档:《含分布式光伏的配电网集群划分和集群电压协调控制》仿真平台:MATLAB主要内容:本文以全局电压的低成本快速控制为目标,提出基于电气距离和区域电压调节能力的集群综合性能指标和网络划分......
  • django离线脚本的使用(就是需要借助django的功能,然后写一些脚本)
    在django中,我们可以创建一些离线脚本,它的意思是我们并没有启动django服务,而只是运行了django的一些配置以便我们在脚本里完成一些,需要django环境支持的脚本操作下面是详细用法:#启动djangoimportosimportsysimportdjango#首先,一定要把当前项目的路径加到python模块搜......