首页 > 其他分享 >重排模型DLCM

重排模型DLCM

时间:2024-05-26 11:22:34浏览次数:27  
标签:DLCM loss Rq 特征向量 模型 rank 重排

论文名:Learning a Deep Listwise Context Model for Ranking Refinement

背景

在搜索场景下,给定一个查询q,q和d特征的向量表示x(q,d),rank阶段的loss可以表示为:

其中:Q是query的集合,D是doc集合,f是rank模型函数

可以看到,传统的rank模型是一种point-wise的建模方法,没有考虑不同doc之间互相的影响。因此这篇论文提出了考虑上下文影响的rerank模型DLCM,其loss可以表示为:

其中:Rq是rank模型 f 的排序结果,Xq = {x(q,d)|d ∈ Rq} ,I 表示local context model,建模上下文信息,φ是最终的打分函数

重点在于如何找到最优的 I 和 φ 来最小化loss

 

模型结构

DLCM模型主要包含3个步骤:

1. 用rank模型对doc排序,并用embedding层把(q,d)表示为特征向量x(q,d) (这个特征向量是从rank模型的计算结果,还是rerank阶段通过embedding层训练出来的?)

2. 按rank模型排序位置从低到高把特征向量x(q,di)输入GRU中,最终产生一个隐向量sn和n个隐层输出oi

 

和 n个隐层输出 oi ,i∈[1,n] ,这个局部模型被称为local context model - I(Rq,Xq) ,输出被称为local ranking context

标签:DLCM,loss,Rq,特征向量,模型,rank,重排
From: https://www.cnblogs.com/xumaomao/p/18213440

相关文章

  • 2024年5月大语言模型论文推荐:模型优化、缩放到推理、基准测试和增强性能
    前一篇文章总结了关于计算机视觉方面的论文,这篇文章将要总结了2024年5月发表的一些最重要的大语言模型的论文。这些论文涵盖了塑造下一代语言模型的各种主题,从模型优化和缩放到推理、基准测试和增强性能。大型语言模型(llm)发展迅速,跟上这些领域新颖的研究将有助于引导模型的持续......
  • 一种多行业AI大模型应用系统架构图
    一种多行业AI大模型应用系统架构图在线下载地址:https://www.processon.com/diagraming/663aca77c6097856afd4d9ba一种适用于多行业AI大模型应用系统架构图,共分为七层:1、模型应用,2、模型服务平台、3、行业模型、4、模型训练5、模型选择,6、行业数据,6、部署方式;通过对AI模......
  • 如何选择一个最强大模型-看最硬核排名了!
    ChatbotArena由伯克利大学主导团队LMSYSOrg发布了一个针对大语言模型的基准平台ChatbotArena。该平台采用匿名、随机的方式让不同的大模型产品进行对抗评测,基于国际象棋等竞技游戏中广泛使用的埃洛等级分系统,通过用户投票产生,系统每次会随机选择两个不同的大模型机器人和......
  • 大语言模型LLM 相关知识汇总
    大型语言模型(LLM)在设计和应用时需要遵守一系列的道德和法律标准,以确保不会输出不当内容。以下是一些LLM通常不应该对外输出的内容类型:个人隐私信息:包括但不限于个人身份信息(PII),如姓名、地址、电话号码、电子邮件地址、社会安全号码等。敏感数据:任何可能涉及国家安全、商业......
  • 网络模型-策略路由配置
            在实际网络应用中,策略路由也是一种重要的技术手段。尽管在考试并不注重策略路由,但是实际上应用较多建议考生除了掌握基本的静态路由协议IProute-static,动态路由协议RIP、还要掌握如何配置策略路由。策略路由的基本原理:根据ACL定义的不同数OSPF的基础配置外,据......
  • 昇腾开发全流程 之 MindSpore华为云模型训练
    前言学会如何安装配置华为云ModelArts、开发板Atlas200IDKA2,并打通一个训练到推理的全流程思路。在本篇章,首先我们开始进入训练阶段!训练阶段A.环境搭建MindSpore华为云模型训练Step1创建OBS并行文件登录华为云->控制台->左侧导航栏选择“对象存储服务OBS”......
  • 如何使用 Channel 类来创建一个生产者-消费者模型
    如何使用Channel类来创建一个生产者-消费者模型.NET中Channel类简单使用 Channel是干什么的TheSystem.Threading.Channelsnamespaceprovidesasetofsynchronizationdatastructuresforpassingdatabetweenproducersandconsumersasynchronously.Theli......
  • 免费撸gpt-4o和各种大模型实用经验分享
    项目Github:https://github.com/MartialBE/one-api先贴两张图:说明免费撸AI大模型,各位可以对照下面我给出的大模型记录表来填,key需要自己去拿,国内都需要手机号验证,如果你不介意。另外我在自己的博客放出免费API给大家使用,需要说明的是,每家大模型提供商给的免费额度都......
  • 鸿蒙HarmonyOS实战-Stage模型(进程模型)
    ......
  • 产品经理如何学习大模型?——从“小白”到“大牛”的奇幻旅程
    引言在这个由数据驱动的时代,产品经理们面临着一个全新的挑战——大模型。想象一下,你是一名产品经理,站在一个由代码和算法构成的神秘岛屿前,准备开始一场探索之旅。这场旅程不仅需要勇气,还需要智慧和耐心。那么,如何从一个对大模型一无所知的“小白”成长为一个精通此道的“大......