• 2024-05-29双塔召回模型问题总结
    1.常用的损失函数一般使用inbatchsoftmax,主要优点是方便,确实是容易遭造成对热门item的打压,可以做纠偏,参考youtube论文《Sampling-Bias-CorrectedNeuralModelingforLargeCorpusItemRecommendations》 2.计算useremb和itememb时的相似度时应该用什么方法,为什么需
  • 2024-04-04完美世界一面 暑期 推荐算法 4.3
    1.code最长公共子序列,不仅要求长度,还要求出其中任意一个序列是什么,秒了2.项目详细问项目,没有扣非常细的细节有了解过双塔模型的结构吗为什么不能user和item提前交叉,那这个缺点,有什么方式可以改进吗双塔模型线上服务是怎样的3.八股Transformer架构,encoder和decoder有什
  • 2024-02-18双塔模型总结
    双塔模型介绍由于进入召回/粗排的候选数目比精排多很多,召回/粗排无法做的很精排一样复杂。现在业内比较通用的方案是采用双塔模型,左边塔建模userembedding,右边塔建模itemembedding,由于用户的行为经常发生变化,usertower需要经常更新,但是item状态很少发生变化,可以离线算好所有的
  • 2023-11-16bert双塔
    importsysimporttensorflowastffromkerasimportInput,Modelimportkeras.layersaslayersfromkeras.layersimportDotfromtransformersimportTFAutoModel,AutoTokenizerfromsklearn.model_selectionimporttrain_test_splitimportnumpyasnpimportpandas
  • 2023-08-14NLP文本匹配任务Text Matching 有监督训练:PointWise(单塔)、DSSM(双塔)、Sentence BERT(双塔)项目实践
    NLP文本匹配任务TextMatching[无监督训练]:SimCSE、ESimCSE、DiffCSE项目实践文本匹配多用于计算两个文本之间的相似度,该示例会基于ESimCSE实现一个无监督的文本匹配模型的训练流程。文本匹配多用于计算两段「自然文本」之间的「相似度」。例如,在搜索引擎中,我们通常需要判断
  • 2023-08-14NLP文本匹配任务Text Matching 有监督训练:PointWise(单塔)、DSSM(双塔)、Sentence BERT(双塔)项目实践
    NLP文本匹配任务TextMatching[有监督训练]:PointWise(单塔)、DSSM(双塔)、SentenceBERT(双塔)项目实践0背景介绍以及相关概念本项目对3种常用的文本匹配的方法进行实现:PointWise(单塔)、DSSM(双塔)、SentenceBERT(双塔)。文本匹配(TextMatching)是NLP下的一个分支,通常用于计算两个句子
  • 2023-06-15百度双塔召回引擎MOBIUS
    1.概述对于一个搜索或者推荐系统来说,分阶段的设计都是当下的一个标配,主要是为了平衡效率和效果,在百度的广告系统中,也是分成了如下的三层结构:最上层的Matching阶段负责从全库中找到与query相关的候选集,接下来的两个阶段则是根据不同的指标对候选集进行筛选,通常称中间的筛选过程为粗
  • 2023-04-21别再双塔了!谷歌提出DSI索引,检索效果吊打双塔,零样本超BM25!
    卖萌屋今日学术精选这篇论文展示了信息检索可以用一个Transformer来完成,其中,关于语料库的所有信息都被编码在Transformer模型的参数中。论文标题:TransformerMemoryasaDifferentiableSearchIndex链接:https://arxiv.org/abs/2202.06991作者提出了可微搜索索引(DifferentiableSe
  • 2023-04-21推荐系统的双塔模型,问答
     想问一下各位大佬:1.推荐系统的双塔模型中,为什么用户向量和商品向量的内积可以表示用户对物品的兴趣呢?因为内积描述的是两个向量之间的相似度,而用户和物品的特征差别很大。2.即便用户和物品很相似,可以用相似度来刻画喜爱程度吗?