首页 > 其他分享 >[推荐系统]指标之测评

[推荐系统]指标之测评

时间:2022-11-15 16:23:00浏览次数:81  
标签:正例 AUC 测评 推荐 ROC 指标 负例 TPR FPR

整理下一些常用的评估模型的指标


1 AUC

AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。

1.1 什么是ROC


这就是一个ROC曲线,其中横轴是FPR,纵轴是TPR。那么就引入了什么是FPR和TPR?

1.2 什么是FPR TPR FNR TNR


上图所示,因为这是基于二分类进行的,所以其实,AUC只能用在二分类中。

1)伪阳性率(False Positive Rate,FPR):判定为正例却不是真正例的概率,即真负例中判为正例的概率,

2)真阳性率(True Positive Rate,TPR):判定为正例也是真正例的概率,即真正例中判为正例的概率(也即正例召回率

3)伪阴性率(False Negative Rate,FNR):判定为负例却不是真负例的概率,即真正例中判为负例的概率。

4)真阴性率(True Negative Rate,TNR):判定为负例也是真负例的概率,即真负例中判为负例的概率。

1.3 怎么计算AUC


在一个二分类模型中,

  1. 对于所得到的连续结果
  2. 假设已确定一个阀值,比如说 0.6,大于这个值的实例划归为正类,小于这个值则划到负类中。
  3. 如果减小阀值,减到0.5,固然能识别出更多的正类,也就是提高了识别出的正例占所有正例 的比类,即TPR,但同时也将更多的负实例当作了正实例,即提高了FPR。

ROC曲线上的每一个点对应于一个threshold,对于一个分类器,每个threshold下会有一个TPR和FPR。比如Threshold最大时,TP=FP=0,对应于原点;Threshold最小时,TN=FN=0,对应于右上角的点(1,1)

第一种计算方法也是淘汰的方法:计算ROC曲线下的面积,可以近似计算ROC曲线一个个小梯形的面积。参考这篇博文

还有2种方法,可以降低代码的复杂度

GAUC

NDCG

标签:正例,AUC,测评,推荐,ROC,指标,负例,TPR,FPR
From: https://www.cnblogs.com/shouhuxianjian/p/16892596.html

相关文章

  • 【工具推荐】关于《轻笔记》
    这是一款《轻笔记》工具,让瞬间的灵感(短文字、idea列表、图片、链接等)更容易被记录.https://wowule.cc/lightNotes1.创建轻笔记、轻笔记列表2.轻笔记的由来3.轻......
  • 工程师书籍推荐,干货不仅局限于技术本身!
    ▼关注公众号:工程师看海▼建立自己的知识体系,进行系统性学习是非常重要的事情,做事和做技术这两架马车要并驾齐驱,缺一不可,今天推荐几本不错的书,希望与诸君共勉。1:《非暴力沟......
  • 机器翻译的评价指标
    BLEUBLEU方法是对待评价的句子和groundtruth的n个grams进行比较,并计算出匹配片段的个数,这些匹配片段与它们在句子中的位置无关,匹配片段数越多越好。在BLEU方法中,首先逐个......
  • C++软件编码规范推荐--Qt相关
    1背景  Qt开发常用于跨平台开发的首选,所以关于Qt开发的编码规范也很重要。2QWidget  【规范】信号命名:sgl+驼峰命名规则,如:sglUpdate();  【规范】槽函数:on+驼峰......
  • 电影推荐系统项目实战:项目搭建 ----- 创建项目框架、声明项目中工具版本信息、添加项
    1.创建项目框架,确定父/子项目关系:在MovieRecommendSystem的pom.xml文件中加入元素<packaging>pom</packaging>,然后新建一个mavenmodule作为子项目,命名为recommender......
  • C++软件编码规范推荐--命名规则
    1.背景  命名规则对于代码开发和理解很重要,是作为一名合格的设计师具备的良好代码习惯。2.命名规则2.1匈牙利命名法  基本原则:变量名=属性+类型+对象描述......
  • Python代码写得丑怎么办?推荐几个神器拯救你
    Python编程语言需要遵循PEP8规范,但是初学者往往记不住这个规范,代码写得比较丑。本文推荐几个神器来拯救奇丑无边的python代码。一、Jupyternotebook篇Jupyternotebook的......
  • C++软件编码规范推荐--程序的版式
    1.背景  版式虽然不会影响程序的功能,但会影响程序的可读性;追求清晰、直观;2.规范2.1空行  空行起分隔程序段落的作用。合理的空行使布局更清晰,也不会浪费内存; ......
  • python量化指标计算talib函数功能一览表
    安装talib库:pipinstalltalib 1#取个数据验证一下2set_token('')3data=history(symbol='SHSE.600519',frequency='1d',start_time='2015-01-01',......
  • Lazada测评技术与自养号测评方法推荐
    无论什么平台,都需要进行一定的测评,特别是对于新店来说这是提升店铺权重、产品排名的最快捷的方式,那么Lazada该如何测评呢?自养号测评要注意哪些地方呢?Lazada对于测评......