首页 > 编程语言 >算法模型指标评估验证合集

算法模型指标评估验证合集

时间:2024-06-20 16:25:08浏览次数:23  
标签:FP 负类 验证 模型 衡量 正类 算法 TP 合集

这个图表展示了二分类问题中常用的各种评价指标及其计算公式。以下是对每个指标的详细分析和总结:

图表结构分析

  1. 总样本数 (Total population)

    • ( P + N ):总样本数,包括正类样本和负类样本。
  2. 实际情况 (Actual Condition)

    • 正类 (Positive, P):实际为正类的样本数。
    • 负类 (Negative, N):实际为负类的样本数。
  3. 预测情况 (Predicted Condition)

    • 预测为正类 (Predicted Positive, PP):被预测为正类的样本数。
    • 预测为负类 (Predicted Negative, PN):被预测为负类的样本数。
  4. 混淆矩阵 (Confusion Matrix)

    • 真正类 (True Positive, TP):实际为正类且被正确预测为正类的样本数。
    • 假负类 (False Negative, FN):实际为正类但被错误预测为负类的样本数。
    • 假正类 (False Positive, FP):实际为负类但被错误预测为正类的样本数。
    • 真负类 (True Negative, TN):实际为负类且被正确预测为负类的样本数。

各指标的含义及意义

  1. 准确率 (Accuracy, ACC)

    • 公式:( \(\text{ACC} = \frac{TP + TN}{P + N}\) )
    • 含义:预测正确的样本数占总样本数的比例。
    • 意义:衡量模型整体的预测准确性。
  2. 精确率 (Precision, PPV)

    • 公式:( $\text{PPV} = \frac{TP}{TP + FP} $)
    • 含义:预测为正类的样本中实际为正类的比例。
    • 意义:衡量模型在预测正类时的准确性。
  3. 召回率 (Recall, TPR)

    • 公式:( \(\text{TPR} = \frac{TP}{P}\) )
    • 含义:实际为正类的样本中被正确预测为正类的比例。
    • 意义:衡量模型对正类样本的识别能力。
  4. 特异性 (Specificity, TNR)

    • 公式:( \(\text{TNR} = \frac{TN}{N}\) )
    • 含义:实际为负类的样本中被正确预测为负类的比例。
    • 意义:衡量模型对负类样本的识别能力。
  5. 假正率 (False Positive Rate, FPR)

    • 公式:( \text{FPR} = \frac{FP}{N} )
    • 含义:实际为负类的样本中被错误预测为正类的比例。
    • 意义:衡量模型在负类样本中的误报率。
  6. 假负率 (False Negative Rate, FNR)

    • 公式:( \(\text{FNR} = \frac{FN}{P}\) )
    • 含义:实际为正类的样本中被错误预测为负类的比例。
    • 意义:衡量模型在正类样本中的漏报率。
  7. F1分数 (F1 Score)

    • 公式:( \(\text{F1} = \frac{2 \cdot \text{PPV} \cdot \text{TPR}}{\text{PPV} + \text{TPR}}\) )
    • 含义:精确率和召回率的调和平均数。
    • 意义:综合衡量模型的精确率和召回率。
  8. 平衡准确率 (Balanced Accuracy, BA)

    • 公式:( \(\text{BA} = \frac{TPR + TNR}{2}\) )
    • 含义:召回率和特异性的平均值。
    • 意义:在类别不平衡的情况下,衡量模型的整体表现。
  9. Matthews相关系数 (Matthews Correlation Coefficient, MCC)

    • 公式:( \(\text{MCC} = \frac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}\) )
    • 含义:考虑了TP、TN、FP和FN的综合指标。
    • 意义:在类别不平衡的情况下,衡量模型的分类性能。
  10. 诊断比值比 (Diagnostic Odds Ratio, DOR)

    • 公式:( \(\text{DOR} = \frac{TP \cdot TN}{FP \cdot FN}\) )

    • 含义:真正类和假正类的比值与假负类和真负类的比值之比。

    • 意义:衡量模型区分正类和负类的能力。

  11. 假发现率 (False Discovery Rate, FDR)

相关文章

  • 递归算法:代码迷宫中的无限探索
    ✨✨✨学习的道路很枯燥,希望我们能并肩走下来!目录前言一深入理解递归二迭代VS递归三递归算法题目解析3.1汉诺塔问题 3.2合并两个有序链表3.3反转链表 3.4 两两交换链表中的节点 3.5Pow(x,n)(快速幂) ​四总结总结前言作为递归、搜索与回溯算法......
  • 单细胞测序最好的教程(十五):最具代表性的拟时序计算模型合集
    作者按本章节主要讲解了不基于RNA速率的三种拟时序模型的代表算法,包括扩散时间,Slingshot,Palantir,VIA等,并简单介绍了细胞的状态转移。本教程首发于单细胞最好的中文教程,未经授权许可,禁止转载。全文字数|预计阅读时间:5000|10min——Starlitnightly(星夜)1.背景单细胞测序技......
  • 单细胞测序最好的教程(九): 细胞类型自动注释|发表在Science的注释算法
    作者按本章节主要讲解了基于大模型的自动注释方法,包括CellTypist(发表在Science)和MetaTiME(发表在Naturecommunication),一个通用,一个泛癌专用。本教程首发于单细胞最好的中文教程,未经授权许可,禁止转载。全文字数|预计阅读时间:3000|3min——Starlitnightly(星夜)1.背景我......
  • sshpass命令 – 非交互式验证SSH密码
    sshpass命令来自英文词组“SSHpassword”的缩写,其功能是用于非交互式验证SSH密码。SSH是Linux系统平台中最常用的远程控制协议之一,使用ssh命令进行远程连接时需要交换式验证密码信息,不利于在Shell脚本中调用。而sshpass命令则很好地解决了这个脚本调用问题,用户可以直接将密码以参......
  • 每日一道算法题 字符逆序
    题目:字符逆序_牛客题霸_牛客网(nowcoder.com)C语言#include<stdio.h>#include<string.h>voidfun_2024_6_20(){charstr[10001]={0};gets(str);//不能使用scanf("%d",str)函数,含空格字符串会被视为多组输入。intlen=strlen(str);len--;whil......
  • 每日一道算法题 删除字符串中出现次数最少的字符
    题目删除字符串中出现次数最少的字符_牛客题霸_牛客网(nowcoder.com)C语言#include<stdio.h>#include<string.h>voidfun_2024_6_17(void){charstr[20]={0};while(scanf("%s",str)!=EOF){intalpha[26]={0};intmin=20;......
  • 前端网站(一) - 登录页面及账号密码验证(完善版)【附源码】
    登录页面及账号密码验证开篇(请大家看完):此网站写给挚爱,后续页面还会慢慢更新,大家敬请期待~~~轻舟所编写这个前端框架的设计初衷,纯粹是为了哄对象开心。除此之外,并无其它任何用途或目的。此前端框架,主要侧重于前端页面的视觉效果和交互体验。通过运用各种前端技术和创意,......
  • 【算法与设计】期末总结
    文章目录第一章概述算法与程序时间复杂性求上界第二章递归与分治双递归函数——Ackerman函数分治策略大整数乘法两位×两位四位x四位三位x三位两位x六位第三章动态规划矩阵连乘基本要素最优子结构子问题重叠备忘录第四章贪心算法活动安排问题基本要素贪心选......
  • 【4月27日RPA公开课UiPath圆满结束】掌握验证码自动登录技巧,实现高效自动化
    在数字化时代,自动化已成为提高工作效率、降低成本的必备工具。而RPA(RoboticProcessAutomation,机器人流程自动化)技术正是其中的佼佼者。为了帮助更多学员掌握RPA技术,RPA学习天地于4月27日举办了一场别开生面的公开课,主题为“如何实现各种验证码的自动登录”。   本次公开......
  • Naive组件-表单的验证 只验证表单的部分规则 单项校验某个表单项
    表单的规则可以只写在表单项上表单校验可以多个判断<n-form-itempath="data":label="$t('Date')":rule="dataRule"><n-select:disabled="props.mode==='编辑'||(props.mode==='添加'&&dialog......