首页 > 其他分享 >ELMO模型—>解决向量一词多义

ELMO模型—>解决向量一词多义

时间:2024-03-11 18:23:17浏览次数:28  
标签:apple ELMO 一词 上下文 向量 多义

2024.3.11 ELMO模型—>解决向量一词多义

elmo解决一词多义问题,与Word2Vec不同的是,可以融合上下文信息

ElMO(专门做词向量,通过预训练)

不只是训练一个Q矩阵,我们还可以把这个词的上下文信息融入到这个Q矩阵中

上图中,左边的LSTM获取E2的上文信息,右边对应获取下文信息

怎么处理一词多义问题

通过连接上下文

apple---->我吃了一个苹果----->[1,20,10]

apple---->我在使用苹果手机----->[1,10,20]

标签:apple,ELMO,一词,上下文,向量,多义
From: https://www.cnblogs.com/adam-yyds/p/18066742

相关文章

  • 平面向量释疑 | 探究
    前言廓清认知已知向量等式\(\vec{a}=\vec{b}\),给其两边同时点乘向量\(\vec{c}\),得到\(\vec{a}\cdot\vec{c}=\vec{b}\cdot\vec{c}\),对吗?【释疑】:这样的操作是可以的,借助向量的数量积说明如下:不妨设\(\vec{a}\neq\vec{0}\),\(\vec{c}\neq\vec{0}\),用以说明最一般的情形,则......
  • 线性代数——平面向量 学习笔记
    线性代数——平面向量学习笔记首发于洛谷。定义及用语说明无特殊说明,下文的向量均指自由向量且是平面向量。向量,英文名为vector,目前没有准确而统一的中文翻译。在物理学科,一般翻译成「矢量」,且与「标量」一词相对。在数学学科,一般直接翻译成「向量」。对于向量的乘法:......
  • (译) 理解 Prometheus 的范围向量 (Range Vector)
    Prometheus中RangeVector的概念是有一点不直观的,除非你彻底阅读并理解了官方提供的文档。谁会这样做呢,去读官方文档?大多的人应该会花些错误的时间去做了一些错误的事情,然后随机去寻找一篇像本文一样的文章去理解这个概念,不是吗?什么是Vector由于Prometheus是一个时序型的......
  • 向量的线性表示
    前言典例剖析【2024高一专项】在正方形\(ABCD\)中,\(M\)是\(BC\)的中点,若\(\overrightarrow{AC}\)\(=\)\(\vec{m}\),\(\overrightarrow{AM}\)\(=\)\(\vec{n}\),则\(\overrightarrow{BD}\)=【\(\qquad\)】$A.4\vec{m}-3\vec{n}$$B.4\vec{m}+3\vec{n}$$C.......
  • 基于自适应支持向量机的matlab建模与仿真,不使用matlab的SVM工具箱函数
    1.算法运行效果图预览 2.算法运行软件版本matlab2022a 3.算法理论概述        支持向量机是一种二分类模型,它的基本思想是在特征空间中寻找一个超平面,使得该超平面能够最大化地将两类样本分隔开。这个超平面由支持向量确定,支持向量是离超平面最近的样本点。自适......
  • 两个向量的位置关系
    前言向量是既有大小,也有方向的量。当涉及两个向量时,就涉及两个向量的位置关系;位置关系分类当给定两个向量\(\vec{a}\)和\(\vec{b}\)时,它们之间的位置关系涉及以下几种:两个大类[共线和不共线],或者三个小类①.一类为向量\(\vec{a}\)和\(\vec{b}\)不共线时,此时两个向量......
  • 平面向量|思维导图
    前言使用方法:如果想得到更好的显示效果,可以点击全屏按钮,已经实现电脑端、手机端的适配,效果很好;电视端没有实现适配,Ipad端的适配没有测试;思维导图全屏......
  • 【深度学习】Logistic回归算法和向量化编程。全md文档笔记(代码文档已分享)
    本系列文章md笔记(已分享)主要讨论深度学习相关知识。可以让大家熟练掌握机器学习基础,如分类、回归(含代码),熟练掌握numpy,pandas,sklearn等框架使用。在算法上,掌握神经网络的数学原理,手动实现简单的神经网络结构,在应用上熟练掌握TensorFlow框架使用,掌握神经网络图像相关案例。具体......
  • 向量
    等和线定理\[\overrightarrow{OQ}=m\cdot\overrightarrow{OA}+n\cdot\overrightarrow{OB}=(m+n)(\frac{m}{m+n}\overrightarrow{OA}+\frac{n}{m+n}\overrightarrow{OB})=(m+n)\overrightarrow{OP}=k\cdot\overrightarrow{OP}\notag\]\(CD\)上任意一点都满足\(\fra......
  • SciTech-Mathmatics-LinearAlgebra-特征值和特征向量
    1基本定义将\(n\)阶方阵\(M\)分解出如下式的非零n维向量\(v\)作为特征向量和\(\lambda\)作为特征向量;$\largeMv=\lambdav,\v\neq0$上式不仅可以分解出,甚至还可以分解出多个特征向量与特征值;实例:对物体施加作用力F产生运动,运动可以分解到3D空间......