首页 > 其他分享 >推荐

推荐

时间:2024-08-27 09:15:41浏览次数:8  
标签:shop AUC good 推荐 样本 right left

DIN

在这里插入图片描述

假设 \(V_i^{shop},V_i^{good},V_i^{cate}\) 分别表示历史第 \(i\) 次点击的 shop_id,good_id,cate_id, \(V_a^{shop},V_a^{good},V_a^{cate}\) 分别表示候选商品的 shop_id,good_id,cate_id,则两个不同版本用户兴趣表达 \(V_u\) 计算方式如下

\[\begin{align} g\left( V_i^{shop},V_a^{shop} \right)&=FC\left( Concat\left( \left[ V_i^{shop},V_a^{shop},V_i^{shop}-V_a^{shop},V_i^{shop}\ast V_a^{shop} \right] \right) \right) \\ g\left( V_i^{good},V_a^{good} \right)&=FC\left( Concat\left( \left[ V_i^{good},V_a^{good}, V_i^{good}-V_a^{good}, V_i^{good}\ast V_a^{good} \right] \right) \right) \\ V_u^{shop}&=\sum_{i=1}^{N}{g\left( V_i^{shop},V_a^{shop} \right)V_i^{shop}} \\ V_u^{good}&=\sum_{i=1}^{N}{g\left( V_i^{good},V_a^{good} \right)V_i^{good}} \\ V_u&=Concat\left( \left[ V_u^{shop},V_u^{good} \right] \right) \end{align} \tag{2} \]

DIN的优缺点

  • 缺点
    • 用户兴趣应该是不断进化的。DIN抽取的用户兴趣是固定的,没有捕获到兴趣的这种进化性
    • 如何保证通过用户的显式的行为得到的兴趣是有效的(不太明白)

参考资料:

GAUC

DIN在模型的评估上,定义了 GAUC:

\[GAUC=\frac{\sum_{i=1}^{n}{\text{impression}_i\times AUC_i}}{\sum_{i=1}^{n}\text{impression}_i}\tag4 \]

其中 \(n\)表示用户数, \(\text{impression}_i\) 和 \(AUC_i\)分别表示第 \(i\) 个用户的曝光和 AUC,新的 AUC 更贴近线上真实情况,因为最终我们是按每个用户进行排序的。

GAUC的缺点:

  • GAUC是单用户的sample求auc以后再平均,但是单用户行为没有那么多的时候,会抖动

参考资料:https://blog.csdn.net/qfikh/article/details/105390002

AUC

  • ROC曲线:ROC曲线的横坐标是FPR(表示实际为负的样本有多少预测成了正),纵坐标是TPR(表示实际为正的样本有多少预测成了正)。对于一个分类器的输出通常是概率阈值。通过改变阈值大小,会输出不同的FPR和TPR的值,将其连接起来则得到ROC曲线

AUC 的计算公式

\[AUC = \frac{\sum_{a\in P}^{}{rank_i}-\frac{|P|*(|P|+1)}{2}}{|P|*|N|} \]

接下来,我们解释一下这个公式:

P:表示正样本

N:表示负样本

|P|:表示正样本数量

|N|:表示负样本数量

| \(rank_{i}\) |:表示根据模型的预测分数排行,i 号样本的顺序编号。

好的,我们来看一下,这个公式是怎么推演出来的?

编号样本模型预测值
1p10.25
2p20.3
3n10.4
4p40.80
5n20.80
6n30.80
7p50.85
8n40.89
9n50.95
10p30.96

假如我们现在存在 10 个样本,并且模型对 10 个正样本都给出了对应的预测值,最后我们还按照模型的预测值的大小进行了排序。那么 \(rank_{i}\)rank_{i} 即表示样本排序后的编号。

好,我们说:

AUC 等于随机挑选一个正样本和负样本时,模型对正样本的预测分数大于负样本的预测分数的概率。

对于预测概率第 1 大的正样本,也就是编号为 10 的样本,在上表中对应 P1,那么比他小的负样本的个数为 \(rank_{n} - (\left| P \right|)\)。

对于预测概率第 2 大的正样本,也就是编号为 7 的样本,在上表中对应 P5,那么比他小的负样本的个数为 \(rank_{n-1} - (\left| P \right| - 1)\)。

找规律一直下去:

对于预测概率最小的正样本,比他小的负样本的个数为 \(rank_{1} - 1\) 。

好的,那么这样其实分子就出来了,我们把他们加和处理。

\[rank_{n} - (\left| P \right|) + rank_{n-1} - (\left| P \right| - 1) + \cdots + rank_{1} - 1 = \sum_{a\in P}^{}{rank_i}-\frac{|P|*(|P|+1)}{2} \]

那我们只需要求解分母就可以了,任意去一个正样本和一个负样本,共有 \(|P|\times|N|\) 种方案。

那么现在这个公式是不是就表示,挑选一个正样本和负样本,正样本的预测分数大于负样本的预测分数的概率了呢?

\(AUC = \frac{\sum_{a\in P}^{}{rank_i}-\frac{|P|*(|P|+1)}{2}}{|P|*|N|}\)

那么,我们计算一下改表格对应的 AUC 是多少?

编号样本预测分数
1p10.25
2p20.3
3n10.4
4 --> 5p40.80
5 --> 5n20.80
6 --> 5n30.80
7p50.85
8n40.89
9n50.95
10p30.96

可以看到,这里面包含了一些预测分数相等的行,对于这样的数据,我们只需要对编号进行加和重新平均即可。将编号4、 5、6 替换成 5。

好的,代公式:

\[AUC = \frac{\sum_{a\in P}^{}{rank_i}-\frac{|P|*(|P|+1)}{2}}{|P|*|N|} = \frac{(1+2+5+7+10) - \frac{5*(5+1)}{2}}{5*5} = 0.4 \]

参考资料:https://zhuanlan.zhihu.com/p/361214293

AUC 含义的理解


注:下面的说明不是严格的证明,只是帮助通俗理解。

那么,应该怎么将 AUC 的值与概率联系起来呢?首先,我们知道整个区域的面积是 1。假设正样本的数量为 \(M\) ,负样本数量为 \(N\),并且在改变阈值的过程中,每当一个样本从被预测为正,变为被预测为负,则:

  • 若此样本为正样本,则 TPR 将减小 \(\frac{1}{M}\)
  • 若此样本为负样本,则 FPR 将减小 \(\frac{1}{N}\)

由于每让一个样本的预测结果发生变化,都画出了一条线段,因此让每个样本对应一条线段,负样本对应上方水平的线段,正样本对应右侧垂直的线段。于是可以将整个区域划分为 \(M\times N\) 个小区域,每个区域可以由一条垂直的线段和一条水平的线段通过平移组成,那么这个区域就可以代表这两条线段对应的一个正样本和一个负样本组成的样本对,如下图。

那么我们来理解一下图中黄色区域代表什么?这个黄色部分代表的其实是所有得分比 n2 的得分高的正样本与 n2 组成的样本对。也就是说黄色的部分由 4 个小块组成,每个小块是一个样本对,在这个样本对中,正样本的得分比负样本得分高。

所以,我们可以得到结论,ROC 曲线下面的所有小块代表的样本对都是正样本得分比负样本得分高的样本对。而我们也可以证明 ROC 上面的所有小块代表的样本对都是正样本得分比负样本得分低的样本对。

现在,你能否理解 AUC 的含义了呢:随机给定一个正样本和一个负样本,用一个分类器进行分类和预测,该正样本的得分比该负样本的得分要大的概率

而根据这一含义,我们也可以确定,AUC 越大(越接近 1),模型的分类效果越好。

参考资料:https://www.zhihu.com/question/39840928/answer/1085753375

线下AUC提升为什么不能带来线上效果提升?

  1. 样本
    • 线下评测基于历史出现样本,而线上测试存在新样本。因此线下AUC提升可能只是在历史出现样本上有提升,但是对于线上新样本可能并没有效果。
    • 数据本身由老模型产生,本身也是存在偏置的。
    • 和线下特征不一致。例如包含时间相关特征,存在特征穿越。或者线上部分特征缺失等等。
  2. 评估目标
    • AUC计算的时候,不仅会涉及同一个用户的不同item,也会涉及不同用户的不同item,而线上排序系统每次排序只针对同一个用户的不同item进行打分。
    • 线上效果只和用户看到后的点击的可能性有关,和position等偏置因素无关的。而线下一般是不同position的样本混合训练,因此线上和线下评估不对等。
  3. 分布变化:DNN模型相比传统模型,一般得分分布会更平滑,和传统模型相比打分布不一致。而线上有些出价策略依赖了打分分布,例如有一些相关阈值,那么就可能产生影响。这个可以绘制CTR概率分布图来检查。

参考资料:https://zhuanlan.zhihu.com/p/58152702

特征穿越

对于使用过去以及当下信息来预测未来的AI算法模型,特征穿越本质上是,特征中包含了未来的信息。

对于线上推理过程,构建特征所使用的信息只能来自当下或过去,自然不存在特征穿越问题。

而对于线下训练过程,构建特征时可能会误引入样本发生时刻之后的信息,导致特征穿越。

当训练过程中存在特征穿越问题时,训练评估结果极佳,但线上效果往往会迥然不同。因为模型在训练评估时,使用了特征中的未来信息,而在线上推理时,特征中不再包含未来信息,导致了显著的Training-Serving Skew。

参考资料:https://zhuanlan.zhihu.com/p/402812843

标签:shop,AUC,good,推荐,样本,right,left
From: https://www.cnblogs.com/EIPsilly/p/18381958

相关文章

  • GPT多模态大模型与AI Agent智能体系列一》大模型企业应用落地》基于大模型的对话式推
    注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录GPT多模态大模型与AIAgent智能体系列一基于大模型的对话式推荐系统》对话式推荐系统技术架构设计基于大模型的......
  • 推荐算法实战五-召回(下)
    一、FM的召回功能(一)打压热门物料FM主要应用于U2I召回场景,正样本采用与用户正向交互过的样本。负样本来源于两个途径,一个是随机采样,一个是曝光但未点击的负向物料。由于热门物料曝光率高,因此正负样本中热门物料参与度都不小,为了确保推荐结果的多样性,对正负样本分别采取不同的......
  • 如何禁止电脑上某个软件运行?推荐4种好用的方法
    我们有时需要禁止某些软件的运行,以保护系统安全、提升工作效率或防止不必要的干扰。今天,就为大家推荐四种简单又实用的方法来禁止电脑上某个软件的运行。一、利用组策略编辑器(适用于Windows系统)Windows系统的组策略编辑器是一个强大的管理工具,通过它可以轻松限制特定软件的......
  • 上网行为管理系统推荐(六款上网行为管理系统介绍)
    上网行为管理系统(IBMS)已成为企业确保网络安全、提升工作效率、保护企业资产的重要工具。本文将为您推荐六款功能强大的上网行为管理系统,助您轻松管理企业网络,守护数据安全。1.网控堡垒系统亮点功能:全面监控:实时监控员工的网页浏览、邮件收发、即时通讯、文件传输等网络活......
  • 2024下半年,软考和PMP推荐考哪个?
    在项目管理领域,专业资格认证是提升个人能力、拓宽职业发展道路的重要途径。2024年下半年,面对软考(计算机技术与软件专业技术资格水平考试)和PMP(项目管理专业人士资格认证)两大热门证书,许多从业者陷入了选择的困境。本文旨在分析两者的证书价值、适合人群、考试安排,为大家提供选......
  • 六款电脑监控软件推荐,电脑监控软件排名
    在现代社会,电脑监控软件已成为许多企业和个人的必备工具。无论是为了提升工作效率、保护信息安全,还是监管员工的工作状态,这些软件都能提供强大的支持。本文将为您推荐六款优秀的电脑监控软件,并详细介绍它们的功效、特点及使用体验,帮助您找到最适合自己需求的软件。固信软件ht......
  • 精准入门AI大模型:推荐《大模型应用开发极简入门》,初学者的必备宝典!
    今天给大家推荐一本大模型应用开发入门书籍《大模型应用开发极简入门》,本书对很多AI概念做了讲解和说明,主要讲解了以下几个方面的大模型技术:GPT-4和ChatGPT的工作原理:书中详细介绍了这两个先进的语言模型的基本原理,包括它们是如何训练的、它们的架构以及它们在处理自然语......
  • 电脑文件加密方式推荐:整合了10个文件加密软件,亲测好用!
    在这个数据安全至关重要的时代,电脑文件加密已成为保护个人和企业数据的必备措施。无论是保护敏感的工作文档、私人照片,还是防止商业机密外泄,文件加密软件都可以有效地防止未经授权的访问。本文将为您推荐10款亲测好用的文件加密软件,帮助您更好地保护您的数据安全。1.安秉加......
  • 10款主流图纸加密软件强力推荐|2024年图纸加密软件最佳选择!
    在现代商业环境中,企业图纸作为重要的知识产权和核心竞争力,一旦泄露可能会对企业造成严重的经济损失和竞争劣势。随着信息安全需求的不断提高,图纸加密软件的应用变得尤为重要。图纸加密不仅能够保护企业的技术机密,还能有效防止内部人员的恶意泄密。1.安秉图纸加密软件安秉图......
  • 免费分享一套Java协同过滤推荐算法的SpringBoot+Vue(图书)商城系统【论文+源码+SQL脚
    大家好,我是java1234_小锋老师,看到一个不错的Java协同过滤推荐算法的SpringBoot+Vue(图书)商城系统,分享下哈。项目视频演示【免费】Java协同过滤推荐算法的SpringBoot+Vue(图书)商城系统Java毕业设计_哔哩哔哩_bilibili项目介绍伴随着Internet的蓬勃发展,电子商务也取得了......