首页 > 其他分享 >Word2Vec+下游任务

Word2Vec+下游任务

时间:2024-03-10 21:12:57浏览次数:15  
标签:Word2Vec Skip 模型 矩阵 任务 CBOW 下游

2024.3.10 Word2Vec+下游任务

word2vec

也是一种神经网络语言模型---->主要目的就是为了得到词向量

这类神经网络模型主要分为两个小类

CBOWSkip-gram

CBOW

主要作用:给出一个词的上下文,得到一个词

Skip-gram

主要作用:给出一个词,得到词的上下文

NNLM和Word2Vec的区别

NNLM----->重点是预测下一个词。主要是双层感知机softmax(w2(tanh(w1(xQ)+b1))+b2)

Word2Vec----->CBOW和Skip-gram的两种架构的重点都是得到一个Q矩阵。softmax(w1(xQ)+b1)

1.CBOW:一个老师告诉多个学生,Q矩阵怎么变

2.Skip:多个老师告诉一个学生,Q矩阵怎么变

Word2Vec的缺点

得到的词向量不能实现一词多义的功能

ELMO:可以解决一词多义

下游任务

Word2Vec模型是不是预训练模型?------>

什么是预训练?

给出两个任务A和B,任务A已经做出了模型A,任务B无法解决(可以通过使用模型A,加快任务的解决)

例如:给你一个NLP(自然语言处理)里面的任务,给出一个问题X(Ni+ck),给出一个回答Y(handsome)

预训练语言模型终于出来了(给出一句话,我们使用独热编码(一一对应的一种表查询,不算预训练),再使用Word2Vec预训练好的Q矩阵直接得到词向量,然后进行接下来的任务)

1.冻结:可以不改变Q矩阵

2.微调:随着任务的改变,改变Q矩阵

标签:Word2Vec,Skip,模型,矩阵,任务,CBOW,下游
From: https://www.cnblogs.com/adam-yyds/p/18064789

相关文章

  • schedule 取消任务怎么实现
    点击查看代码importtimeimportthreadingimportscheduleschedule.every(10).seconds.do(job)#每隔10分钟运行一次job函数schedule.every(10).minutes.do(job)#每隔10分钟运行一次job函数schedule.every().hour.do(job)......
  • Linux架构24 ansible之get_url模块, 服务管理模块, 用户管理模块, 定时任务模块, 挂载
    3.get_url模块-name:Downloadfoo.confget_url:url:http://example.com/path/file.confdest:/etc/foo.confmode:'0440'checksum:md5:b5bb9...#公司内部库,验证文件是否为要求的文件checksum:sha256:b5bb9...#另一种验证方式......
  • 匈牙利算法--任务分配
    https://blog.csdn.net/ljjjjjjjjjjj/article/details/123261360例如有3个任务ABC,要分配给甲乙丙三人分别去完成,每个人完成3个任务所耗费精力不同(因为每个人特长不同),此处也叫完成任务耗费的代价,合理分配任务,可以达到总效率最高的目标。此时若想达到耗费总精力最小,可以用穷举法......
  • Advanced .Net Debugging 3:基本调试任务(对象检查:内存、值类型、引用类型、数组和异常
    一、介绍这是我的《Advanced.NetDebugging》这个系列的第四篇文章。今天这篇文章的标题虽然叫做“基本调试任务”,但是这章的内容还是挺多的。由于内容太多,故原书的第三章内容我分两篇文章来写。上一篇我们了解了一些调试技巧,比如:单步调试、下断点、过程调试等,这篇文章主......
  • macOS的任务计划crontab
    使用crontab执行计划任务看了看多老大的讲解和视频仍然无法正常运行,在这里整理了一下crontab的用法和坑首先crontab是需要预先创建。第一步打开终端,执行sudotouch/etc/crontab如果不创建我们所编辑的crontab命令会保存到/tmp目录中,不知道什么时候就会消失,很多人问题出在这......
  • 大数据分析---关键词分类任务
    现在的任务需求是根据关键词(以逗号分割的一列)对类别分类。问题:1.样本数据不够多,并且关键词来源于之前的csv文件的某一列的提取,可能本身就不太准确。2.数据本身有空值等不合理的字段。3.数据准备阶段需要将将中文文本转化为encoding编码解决方案:经过查阅资料可以选择使用朴素......
  • 快捷方式在Windows操作系统中提供了一种方便快捷地访问程序或文件的方法,可以分别存在
    快捷方式在Windows操作系统中提供了一种方便快捷地访问程序或文件的方法,可以分别存在于桌面、开始菜单和任务栏等位置。下面是关于快捷方式在不同位置的技术原理:桌面快捷方式:桌面快捷方式实际上是一个.lnk文件,它包含了指向目标文件或程序的路径信息以及其他属性。创建桌面快捷......
  • 玩转SpringBoot:SpringBoot的几种定时任务实现方式
    引言在现代软件开发中,定时任务是一种常见的需求,用于执行周期性的任务或在特定的时间点执行任务。这些任务可能涉及数据同步、数据备份、报表生成、缓存刷新等方面,对系统的稳定性和可靠性有着重要的影响。SpringBoot提供了强大且简单的定时任务功能,使开发人员能够轻松地管理和执......
  • java定时任务
    一单机定时任务Timerjava.util.Timer是JDK1.3开始就已经支持的一种定时任务的实现方式。Timer内部使用一个叫做TaskQueue的类存放定时任务,它是一个基于最小堆实现的优先级队列。TaskQueue会按照任务距离下一次执行时间的大小将任务排序,保证在堆顶的任务最先执行。这样......
  • VSCode 发布时报error MSB4018: “CreateAppHost”任务意外失败
    大概率是杀毒软件问题,我的问题是有360杀毒导致的网上的方案有如下,也都进行了尝试:重启VisualStudio以管理员身份运行VisualStudio清理解决方案删除bin目录下的所有文件均无效,无奈之下继续寻找解决方案,发现用ProcessMonitor来监控到底是谁在搞鬼。通过下载ProcessMo......