首页 > 其他分享 >双塔召回模型问题总结

双塔召回模型问题总结

时间:2024-05-29 17:58:46浏览次数:25  
标签:right emb cdot 模型 sqrt 双塔 召回 sum left

1. 常用的损失函数

一般使用inbatch softmax,主要优点是方便,确实是容易遭造成对热门item的打压,可以做纠偏,参考youtube论文《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》

 

2.计算user emb 和 item emb时的相似度时应该用什么方法,为什么需要对emb做归一化?

先看一下内积、余弦相似度、一下欧式距离的计算公式:

内积:

\[A\cdot B={\sum_{i=1}^{n} \left ( x_{i}*y_{i}   \right ) }\]

余弦相似度:

\[\cos \left( {A,B} \right) = \frac{{A \cdot B}}{{{{\left\| A \right\|}_2}{{\left\| B \right\|}_2}}} = \frac{{\sum\limits_{i = 1}^n {\left( {{x_i} \times {y_i}} \right)} }}{{\sqrt {\sum\limits_{i = 1}^n {{{\left( {{x_i}} \right)}^2}} }  \times \sqrt {\sum\limits_{i = 1}^n {{{\left( {{y_i}} \right)}^2}} } }}\]

欧式距离:

\[dist\left( {A,B} \right) = {\left\| {A - B} \right\|_2} = \sqrt {\sum\limits_{i = 1}^n {{{\left( {{x_i} - {y_i}} \right)}^2}} } \]

如果对向量模长进行归一化,可以得到,三种计算相似度的方式是一致:

\[cos\left ( A,B \right ) =A\cdot B\]

\[\left \| A-B \right \| _{2}=\sqrt{\left \|A  \right \| ^{2} +\left \|B  \right \| ^{2}-2A\cdot B}=\sqrt{2-2A\cdot B} \]

 

因为构建ANN索引时一般用的欧式距离(内积不满足三角不等式,效果不好),但是欧式距离的计算复杂度比较高,因此可以先对emb做归一化

标签:right,emb,cdot,模型,sqrt,双塔,召回,sum,left
From: https://www.cnblogs.com/xumaomao/p/18220782

相关文章

  • AI大模型探索之路-实战篇10:数据预处理的艺术:构建Agent智能数据分析平台的基础
    系列篇章......
  • Google使用AI改进了 Sheets;开源视觉语言模型llama3v;开源情绪语音模型ChatTTS;
    ✨1:GooglehasimprovedSheetswithAI.Google使用AI改进了Sheets您可以使用Gemini处理您的数据并将其变成老师。优化您的数据Gemini了解您的数据并提出改进建议。例如,它可以将重复数据转换为更实用的下拉框。解释数据通过单击双子座图标,您可以自动获......
  • 亮相CCIG2024,合合信息文档解析技术破解大模型语料“饥荒”难题
      近日,2024中国图象图形大会在古都西安盛大开幕。本届大会由中国图象图形学学会主办,空军军医大学、西安交通大学、西北工业大学承办,通过二十多场论坛、百余项成果,集中展示了生成式人工智能、大模型、机器学习、类脑计算等多个图像图形领域的进展。大模型技术......
  • 基于最新发表的端到端实时目标检测模型YOLOv10开发构建自己的个性化目标检测系统从零
    在我前面的系列博文中,对于目标检测系列的任务写了很多超详细的教程,目的是能够读完文章即可实现自己完整地去开发构建自己的目标检测系统,感兴趣的话可以自行移步阅读:《基于官方YOLOv4-u5【yolov5风格实现】开发构建目标检测模型超详细实战教程【以自建缺陷检测数据集为例】》......
  • 一起学习大模型 - langchain里的 PromptTemplate详细介绍
    文章目录前言一、安装LangChain二、基本用法1.导入库并定义模板2.填充模板三、进阶用法1.使用多个变量2.嵌套模板3.动态变量四、应用模板与大模型交互五、疑问解答1.举例说明2.更详细的例子总结前言上一篇文章我们讲了Prompt的概念和作用(大模型的交......
  • 大模型应用:太普软件基于大数据模型的知识助理场景
    随着数字革命的汹涌澎湃,人工智能的核心——大模型技术,正日益显现其促进人与机器协作共进的决定性作用。广州太普软件科技有限公司(以下简称“太普软件”)依托自研先进技术,巧妙地将大模型知识助理嵌入各行各业的服务之中,使其在知识问答、架构搭建、信息整合及智能推荐等领域展现......
  • windows ollama 指定模型下载路径
    为Ollama指定模型的下载路径在Windows系统中,如果想为Ollama指定模型的下载路径,可以通过设置环境变量来实现。以下是详细的步骤:确定默认下载路径:默认情况下,Ollama的模型可能会下载到C:\Users\<用户名>\.ollama\models目录下。设置新的下载路径:如果想更改这个默认路径,需要设......
  • huggingface 下载与训练模型时会报 SSLERROR 连接 错误,解决办法如下
    我用方案一解决解决方案方案1:使用代理(需要梯子)在你的Python代码的开头加上如下代码importosos.environ['HTTP_PROXY']='http://proxy_ip_address:port'os.environ['HTTPS_PROXY']='http://proxy_ip_address:port'其中 http://proxy_ip_address:port 中的 ......
  • 【机器学习】Chameleon多模态模型探究
    Chameleon:引领多模态模型的新时代一、多模态模型的时代背景二、Chameleon模型的介绍三、Chameleon模型的技术特点四、Chameleon模型的性能评估五、Chameleon模型的代码实例随着人工智能技术的深入发展,我们逐渐认识到单一模态的模型在处理复杂问题时存在一定的局限......
  • 双亲委派模型
    双亲委派模型并不是一种强制性的约束,只是JDK官方推荐的一种方式。每⼀个类都有⼀个对应它的类加载器。系统中的ClassLoder在协同⼯作的时候会默认使⽤双亲委派模型。JVM启动的时候,并不会一次性加载所有的类,而是根据需要去动态加载。也就是说,大部分类在具体用到的时候才会......