1.混淆矩阵
通常对于二分类模型,我们的预测结果与实际情况两两组合,会得到4种结果。这4中结果组成了混淆矩阵。以0,1作为两种类别。如下:
用P(Positive)、N(Negative)代表1、0两种结果,T(True)代表预测正确,N(False)代表预测错误。重新表示混淆矩阵就变成了下面这个样子:
上面的混淆矩阵转换为文字描述如下:
TP:预测为1,预测正确,实际为1
FP:预测为1,预测错误,实际为0
FN:预测为0,预测错误,实际为1
TN:预测为0,预测正确,实际为0
2.准确率
准确率也是分类模型评估的指标之一。准确率是指预测正确(TP+TN)的结果占总样本(TP+TN+FP+FN)的百分比,公式如下:
当样本不平衡时,既使准确率很高,模型效果也不一定好。比如癌症患者中总样本有100个,95个为正常,5个为癌症。我们可以无脑的创建一个模型,该模型将其全部当做正常,那么准确率达到了95%。然而不是我们想要的效果,因为另外五个癌症患者全部被预测为正常了。
3.精准率
精准率(precision)又叫查准率,它是针对预测结果而言,预测结果为正(P)的样本中实际也为正(TP)的样本的概率。
4.召回率
召回率又称为查全率,与精准率不同,是针对原样本而言的。表示实际为正的样本中有多少被正确预测了。
比如预测癌症患者时,将正常预测为癌症与将癌症预测为正常,一般认为后者的损失更大。可采用召回率判断找出癌症患者的概率。召回率越高,代表实际坏用户被预测出来的概率越高,它的含义类似:宁可错杀一千,绝不放过一个。
5.精准率与召回率的关系
精准率与召回率分子是相同的,分母不同。两者的关系可以用P-R图来表示。
图中表示随着阈值(比如逻辑回归二分类的阈值)的不同,查全率与查准率随着变化,平衡点是两者都达到一个较高的水平。
6.F1分数
F1分数为查准率与查全率的平衡点对应的取值。
F1分数=2*查准率*查全率/(查准率+查全率)
补充:关于ROC等其他内容后面等本人整理在写上,可以参考最下方连接,写的很详细!
不足或错误之处,欢迎指正!
参考资料:https://www.zhihu.com/question/30643044
标签:混淆,预测,癌症,样本,矩阵,查全率,评估,查准率 From: https://www.cnblogs.com/wancy/p/16592012.html