• 2024-12-12【推荐算法】单目标精排模型——Wide & Deep
    keyword:Google应用商店Motivation:作者认为一个好的推荐模型需要包含memorization和generalization。memorization主要负责记忆法频繁出现的特征项;generalization主要负责挖掘新的特征组合;截至2016年,作者认为目前的基于神经网络的推荐模型会过度泛化并推荐相关性较低的物品(ge
  • 2024-12-11【推荐算法】单目标精排模型——DIEN
    keyword:阿里巴巴,广告点击率预测Motivation:截至2018年,还没有相关的推荐算法考虑到用户兴趣的趋势。作者认为大多数的模型是直接将行为视为兴趣,无法直接提取用户真正的潜在兴趣特征。因此,作者提出了DIEN模型,利用interestextractorlayer通过用户历史行为序列捕捉用户的兴趣序
  • 2024-12-10【推荐算法】单目标精排模型——FiBiNET
    keyword:学术论文Motivation:传统的Embedding&MLP算法是通过内积和Hadamardproduct实现特征交互的,这篇文章的作者提出了采用SENET实现动态学习特征的重要性;作者认为简单的内积和Hadamardproduct无法有效对稀疏特征进行特征交互,因此提出bilinearfunction实现特征交互,提出了FI
  • 2024-12-08【推荐算法】推荐系统中的单目标精排模型
    前言:推荐系统中模型发展较快,初学者【也就是笔者】很难对模型进行一个系统的学习。因此,这篇文章总结了王树森中的视频以及《深度学习推荐系统》中的单目标精排模型,绘制了一个单目标精排模型的思维导图来帮助初学者【笔者】更好的学习。在后面的学习过程中,会加入更多的单目标
  • 2024-12-07【推荐算法】推荐系统中的单目标精排模型
    前言:推荐系统中模型发展较快,初学者【也就是笔者】很难对模型进行一个系统的学习。因此,这篇文章总结了王树森中的视频以及《深度学习推荐系统》中的单目标精排模型,绘制了一个单目标精排模型的思维导图来帮助初学者【笔者】更好的学习。在后面的学习过程中,会加入更多的单目标精排论
  • 2024-09-03召回策略算法-粗排算法-精排算法
     召回策略算法召回策略算法用于在海量文档中快速识别和选择与用户查询相关的文档,以满足用户的检索需求:提高检索效率:召回策略算法能够快速过滤出与用户查询相关的文档,减少了后续排序和排除不相关文档的计算量,从而提高了检索效率。提高搜索结果的相关性:通过选择与用户查询
  • 2024-05-04推荐系统工程架构
    推荐系统简介计算原理我们把每个用户/视频表示成空间中的一个点。如果两个点越接近,就认为这个用户对这个视频的喜欢程度越高,反之越低。用户点赞这个视频就拉近两点,没点赞就拉远两点的距离。这样就组成了整体推荐系统 推荐系统流程 从海量视频中召回用户感兴趣的视频
  • 2024-04-26【高级RAG技巧】使用二阶段检索器平衡检索的效率和精度
    一传统方法之前的文章已经介绍过向量数据库在RAG(RetrievalAugmentedGenerative)中的应用,本文将会讨论另一个重要的工具-Embedding模型。一般来说,构建生产环境下的RAG系统是直接使用Embedding模型对用户输入的Query进行向量化表示,并且从已经构建好的向量数据库中检索出相关的
  • 2024-01-10通用搜索架构(转)
    转自:https://ost.51cto.com/posts/11557回顾自己过去的5年,从一名后端开发工程师,自我摸索、学习、探究,成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段,可简要概括为:(1)关键词搜索、(2)相关性搜索、(3)探索式搜索。具体如下图:  • 关键词搜索:主要借助关系型数据库如My
  • 2023-08-13推荐工程全解-整体架构
    目录1.推荐系统的作用2.推荐整体架构3.推荐的各个模块3.1推荐接入模块3.2画像3.2.1分类3.2.2对比3.3召回3.3.1召回分类3.3.2召回可能面临的问题3.4粗排3.4.1当前主流的粗排实现3.5精排3.6重排3.7特征服务3.7.1特征实时上报(回流):数据一致性3.7.2在线离线统一特征
  • 2023-05-01推荐算法的知识框架【更新中】
    几年前刚进入行业时,就简单认为不过是wide&deep做精排,双塔FM做召回做粗排,再加上一些周边项目,比如冷启动和多模型融合调参,就组成了一个完整的推荐系统算法部分。再回头思考这一切,不再迷失在各式各样的实现细节中,关注本质,有了更广泛的认识,分为一下几个部分。1.建模方法多阶段的推
  • 2023-03-12pairwise损失_triplet损失_提升精排模型的trick
    多标签importtorchimporttorch.nnasnnimporttorch.optimasoptimclassRankModel(nn.Module):def__init__(self,num_features):super(RankMode
  • 2023-02-27推荐系统[八]算法实践总结V0:腾讯音乐全民K歌推荐系统架构及粗排设计
    1.前言:召回排序流程策略算法简介推荐可分为以下四个流程,分别是召回、粗排、精排以及重排:召回是源头,在某种意义上决定着整个推荐的天花板;粗排是初筛,一般不会上复杂模型;
  • 2023-02-27推荐系统[八]算法实践总结V0:腾讯音乐全民K歌推荐系统架构及粗排设计
    1.前言:召回排序流程策略算法简介推荐可分为以下四个流程,分别是召回、粗排、精排以及重排:召回是源头,在某种意义上决定着整个推荐的天花板;粗排是初筛,一般不会上复杂模型
  • 2023-02-23推荐系统[三]:粗排算法常用模型汇总(集合选择和精准预估),技术发展历史(向量內积,Wide&Deep等模型)以及前沿技术
    1.前言:召回排序流程策略算法简介推荐可分为以下四个流程,分别是召回、粗排、精排以及重排:召回是源头,在某种意义上决定着整个推荐的天花板;粗排是初筛,一般不会上复杂模型
  • 2022-11-29[推荐系统]粗排之FSCD
    目录1引言2FSCD2.1交互特征和表征特征结构2.2FSCD的主要内容2.3粗排模型的微调2.3资源复用1引言众所周知:召回阶段需要尽可能覆盖用户感兴趣的各种类型物品;粗
  • 2022-09-26[推荐系统]粗排之引言
    1什么是粗排粗排英文叫pre-ranking,即在排序之前的部分,主要是通过召回获取了足够多的候选物料集,这时候虽然可以一股脑的全堆给后面的排序,但是假如候选集过大,排序模型过于