首页 > 其他分享 >词向量在各个历史阶段的经典模型

词向量在各个历史阶段的经典模型

时间:2023-04-30 13:55:29浏览次数:36  
标签:中心词 多义 模型 语义 经典 LSTM 上下文 向量

one-hot

词表有多大,每个词的词向量就有多少维

不足

  1. 稀疏。
  2. 没有语义信息。

Word2Vec

两种训练框架:

  • CBOW:上下文预测中心词
  • skip-gram:中心词预测上下文 (word embedding多用这种)

word2vec的词向量考虑到了词的前后一定窗口内的上下文语义信息,且表示更加稠密。

不足

  1. 词向量是静态的,一词多义无法解决。

ELMo

使用双向LSTM来对句子的每个词建模

  • 相比于word2vec具有更深的网络层次,可以捕获到更高级别的语法、语义等信息;

  • 同时结合了前向和后向表征,有效地融合了上下文特征,更好地表征一词多义;

不足

  1. 并行能力差
  2. LSTM处理长依赖问题弱于bert

Bert

使用Attention机制代替RNN,解决长依赖问题,可以并行化

标签:中心词,多义,模型,语义,经典,LSTM,上下文,向量
From: https://www.cnblogs.com/shiiiilong/p/17365203.html

相关文章

  • 练习——管程法,信号灯法简单的实现生产者消费者模型
    packagecom.thread_;//管程法解决生产者消费者模型publicclassPC1{publicstaticvoidmain(String[]args){SynContainercontainer=newSynContainer();Productorproductor=newProductor(container);Consumerconsumer=newC......
  • HMM模型原理
    隐马尔可夫模型(HiddenMarkovModel,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。隐马尔可夫模型(HMM)可以用五个元素来描述,包括2个状态集合和3个概率矩阵:1.隐含状态S、2.可观测状态O、3.初始状态概率矩阵π、......
  • 分类模型的性能评估指标总结
    机器学习中所用模型的好坏需要通过一些量化的指标来评估。对于分类模型,是通过:1)精度(Accuracy);2)准确率(Precision);3)召回率(Recall);4)F1分数;5)ROC(Receiveroperatingcharacteristiccurve)曲线;6)AUC(AreaUnderCurve)曲线来实现的。二分类模型对于二分类问题,通常将两个类别称为正类和负类。......
  • 张量(Tensor)、标量(scalar)、向量(vector)、矩阵(matrix)
    张量(Tensor):Tensor=multi-dimensionalarrayofnumbers张量是一个多维数组,它是标量,向量,矩阵的高维扩展,是一个数据容器,张量是矩阵向任意维度的推广注意,张量的维度(dimension)通常叫作轴(axis),张量轴的个数也叫作阶(rank)]标量(scalar):只有一个数字的张量叫标量(也叫标量张量、零维......
  • python用支持向量机回归(SVR)模型分析用电量预测电力消费|附代码数据
    全文链接:http://tecdat.cn/?p=23921最近我们被客户要求撰写关于SVR的研究报告,包括一些图形和统计输出。本文描述了训练支持向量回归模型的过程,该模型用于预测基于几个天气变量、一天中的某个小时、以及这一天是周末/假日/在家工作日还是普通工作日的用电量关于支持向量机的快速......
  • 《Socket I/O模型全接触》
    本文简单介绍了当前Windows支持的各种SocketI/O模型,如果你发现其中存在什么错误请务必赐教。一:select模型二:WSAAsyncSelect模型三:WSAEventSelect模型四:OverlappedI/O事件通知模型五:OverlappedI/O完成例程模型六:IOCP模型老陈有一个在外地工作的女儿,不能经常回来,老陈和......
  • [重读经典论文]YOLOv3
    1.前言YOLOV3是单阶段目标检测算法YOLO系列的第三个版本,由华盛顿大学JosephRedmon发布于2018年4月,广泛用于工业界。改进了正负样本选取、损失函数、Darknet-53骨干网络,并引入了特征金字塔多尺度预测,显著提升了速度和精度。2.网络结构换了骨干网络,把backbone在darknet19的基......
  • 模型层(models层) -- ORM
    目录Django模型层之ORM介绍sqlite3数据库pycharm查看sqlite3文件Navicate连接sqlite3测试环境的搭建单表操作单表的增删改查常见的十几种查询方法查看原生SQL语句query属性在settings中配置LOGGING日志基于双下划线查询多表查询之表关系操作一对多的外键增删改查数据多对多外键增......
  • 模型的显存和参数量计算
    模型的显存和参数量计算https://blog.csdn.net/weixin_49305813/article/details/119179849https://blog.csdn.net/NODIECANFLY/article/details/102854842......
  • 利用深度学习实现序列模型
    利用深度学习实现序列模型序列问题的含义是接收一个序列作为输入,然后期望预测这个序列的后续。例如继续预测2,4,6,8,10...。这在时间序列中是相当常见的,可以用来预测股市的波动、患者的体温曲线或者赛车所需的加速度。从原理上说,卷积神经网络可以有效处理空间信息,那么循环神经网......