首页 > 其他分享 >07 预训练语言模型的下游任务改造简介(如何使用词向量)

07 预训练语言模型的下游任务改造简介(如何使用词向量)

时间:2022-12-18 23:36:23浏览次数:41  
标签:Word2Vec 07 训练 简介 模型 矩阵 任务 向量


Word2Vec --》 是一个神经网络语言模型,其次他的主要任务是做(生成词向量,Q)

![image-20220614194418918](../../Library/Application Support/typora-user-images/image-20220614194418918.png)

Word2Vec 模型是不是预训练模型?(是)

一定是

什么是预训练?

给出两个任务 A 和 B,任务 A 已经做出了模型 A,任务 B 无法解决(通过使用模型 A,加快任务的解决)

给你一个 NLP 里面的任务,给一个问题 X(Ni+ck),给出一个回答 Y(handsome)

07 预训练语言模型的下游任务改造简介(如何使用词向量)_词向量

预训练语言模型终于出来(给出一句话,我们先使用独热编码(一一对应的一种表查询),再使用Word2Vec 预训练好的 Q 矩阵直接得到词向量,然后进行接下来的任务)

  1. 冻结:可以不改变 Q 矩阵
  2. 微调:随着任务的改变,改变 Q 矩阵

标签:Word2Vec,07,训练,简介,模型,矩阵,任务,向量
From: https://blog.51cto.com/u_13804357/5951209

相关文章

  • [LeetCode]007-整数反转
    >>>传送门题目给你一个32位的有符号整数x,返回将x中的数字部分反转后的结果。如果反转后整数超过32位的有符号整数的范围 [−231, 231 −1],就返回0。假......
  • (转载)Linux C 中断言assert()使用简介
    assert()是一个调试程序时经常使用的宏,在程序运行时它计算括号内的表达式,如果表达式为FALSE(0),程序将报告错误,并终止执行。如果表达式不为0,则继续执行后面的语句,它的作......
  • MongoDB从入门到实战之MongoDB简介
    前言相信很多同学对MongoDB这个非关系型数据库都应该挺熟悉的,在一些高性能、动态扩缩容、高可用、海量数据存储、数据价值较低、高扩展的业务场景下MongoDB可能是我们......
  • 工作流管理系统参考模型简介
    在阐述工作流引擎之前,我们来了解一下工作流技术的基本知识。早在几年前,为了建立工作流管理系统的相关标准,国际上成立了一个称为“工作流管理联盟”(简称WFMC)的国际组织。她提......
  • ARM Neon 简介
    “ARMAdvancedSIMD”,nick-named,itprovides:    (1)、Asetofinterestingscalar/vectorinstructionsandregisters(thelatteraremappedtothesamechi......
  • 【AI with ML】第 5 章 :自然语言处理简介
    OverridetheentrypointofanimageIntroducedinGitLabandGitLabRunner9.4.Readmoreaboutthe extendedconfigurationoptions.Beforeexplainingtheav......
  • S1 - Lesson 107 - 108
    Wordsmadam aswellalsotooeitheraswell Theshopsellsfoodforthebabiestoo.Theshopalsosellsfoodforbabies.Theshopsellsfoodforthebabi......
  • 【lssvm回归预测】基于鸽群算法优化最小二乘支持向量机PIO-lssvm实现数据回归预测附ma
    ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。......
  • JavaSE1️⃣简介
    1、历史背景20世纪90年代初,JamesGosling(SUN公司,已被Oracle收购)开发。一门面向对象的编程语言。最初命名Oak(橡树),目标是针对小型家电设备的嵌入式应用,结果市场......
  • day38_0700.二叉搜索树中的搜索
    0700.二叉搜索树中的搜索classSolution{public:TreeNode*searchBST(TreeNode*root,intval){if(root==NULL)returnNULL;if(root-......