首页 > 其他分享 >【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究

时间:2022-10-12 15:35:28浏览次数:96  
标签:NLP 每周 实体 Entity 学习 任务 LSTM 识别 NER


NER是自然语言处理中相对比较基础的任务,但却是非常重要的任务。在NLP中,大部分的任务都需要NER的能力,例如,聊天机器人中,需要NER来提取实体完成对用户输入的理解;在信息提取任务中,需要提取相应的实体,以完成对信息的抽取。

本篇介绍NER中常用的方法,从常用的机器学习方法到深度学习的方法。

作者&编辑 | 小Dream哥

1 早期的HMM

早期的一篇介绍HMM在NER中的应用,实验效果还可以。现在还有一些实体识别有用到HMM,读此文对于了解NER的发展有一定的好处。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_深度学习

[1] Su, Jian , and J. Su . "Named entity recognition using an HMM-based chunk tagger." Proc Acl (2002):473-480.

2 主流NER架构LSTM +CRF 

随着深度学习的兴起,LSTM+CRF变成NER任务的主流方法,下面是一篇较为典型的介绍的LSTM+CRF进行NER任务的文章。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_自然语言处理_02

[2] Huang, Zhiheng , W. Xu , and K. Yu . "Bidirectional LSTM-CRF Models for Sequence Tagging." Computer Science (2015).

3 讨论了CNN进行NER任务

在NLP任务中用CNN进行特征提取一直不是主流,这篇论文在NER中引入CNN。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_卷积_03

[3] Chiu, Jason P. C. , and E. Nichols . "Named Entity Recognition with Bidirectional LSTM-CNNs." Computer Science (2015).

4 空洞卷积在NER中的应用

因为传统CNN对长序列的输入特征提取能力偏弱,有研究者提出将Dilated Convolutions(空洞卷积)应用在NER中的想法。空洞卷积可以加大感受野,提高模型的训练和预测速度。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_深度学习_04

[4] Emma Strubell Patrick Verga. Fast and Accurate Entity Recognition with Iterated Dilated Convolutions. 2017

5 Lattice LSTM

中文的NER与英文不太一样,中文NER问题很大程度上取决于分词的效果,比如实体边界和单词的边界在中文NER问题中经常是一样的。

所以在中文NER问题中,有时通常先对文本进行分词然后再预测序列中单词的类别。这样一来会导致一个问题,即在分词中造成的错误会影响到NER的结果。基于字向量的模型能够避免上述问题,但因为单纯采用字向量,导致拆开了很多并不应该拆开的词语,从而丢失了它们本身的内在信息。


此文提出一种用于中文NER的LSTM的格子模型,与传统使用字向量的模型相比,它提出的模型显式地利用了字序列之间的关系,能够很好的避免分词错误带来的影响。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_卷积_05

[5] Yue Zhang, Jie Yang. Chinese NER Using Lattice LSTM. 2018

6 实体识别与实体匹配

实体匹配是指将识别到的实体与知识库或者图谱中实体进行匹配与映射。因此实体匹配与识别是两个相关性非常高的任务,通过实体匹配,识别到的实体与现实中的概念相连接。这篇论文将实体匹配与识别统一起来训练,认为两个任务一起学习,能够提升两个任务的准确率。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_深度学习_06

[6] Pedro Henrique Martins, Zita Marinho. Joint Learning of Named Entity Recognition and Entity Linking. 2019.

7 引入BERT及attention

引入了很多新的概念到命名实体识别中,例如BERT,Attention。感兴趣的同学可以看一看,会有蛮大的收益。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_自然语言处理_07

[7] Anton A. Emelyanov, Ekaterina Artemova. Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF. arXiv preprint  arXiv:1906.09978v1 2019

8 AutoNER

论文提出了一个无需人工标注就可以自动标记数据并训练NER的模型--AutoNER。实验表明,AutoNER训练的模型在3个数据集上均与有监督的benchmark相当。感兴趣的同学可以参考下。

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_自然语言处理_08

[8] Jingbo Shang, Liyuan Liu. Learning Named Entity Tagger using Domain-Specifific Dictionary. arXiv preprint  arXiv:1809.03599v1 2018

9 如何获取文章与交流

找到有三AI开源项目即可获取。

​https://github.com/longpeng2008/yousan.ai​

【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究_卷积_09


标签:NLP,每周,实体,Entity,学习,任务,LSTM,识别,NER
From: https://blog.51cto.com/u_14122493/5750926

相关文章

  • 【每周NLP论文推荐】 掌握实体关系抽取必读的文章
    欢迎来到《每周NLP论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。实体关系抽取作为信息抽取领......
  • 【AI初识境】给深度学习新手做项目的10个建议
    这是专栏《AI初识境》的第12篇文章。所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法。在成为合格的深度学习算法工程师,尤其是工业界能够实战的调参选手之前,总会踏足......
  • 【GAN的应用】基于对抗学习的图像美学增强方法
    好久不见~甚是想念由于年底了要处理的事情变得特别多,突然间醒悟好久没更新啦于是深夜给大家带来一篇生成对抗网络在图片美学增强上的应用。首先来个小问题,你能猜出下图的(b)(c)......
  • 嵌入式开发的学习路线
    对于有缘能阅读此文的准嵌入式开发者,不管是否跨行准备做嵌入式,相信本文都能给你一些方向的帮助.我曾迷茫,不愿你再迷茫.关于学习方法视频学习+实践练习视频学习......
  • 机器学习理论及案例分析(part2)--回归
    本节全部代码,已上传至https://github.com/GoatBishop/IntroductionToDataScienceC7博客阅读索引:博客阅读及知识获取指南下一节:聚类文章目录​​回归​​​​举个例子​​​......
  • 数据库优化学习笔记_冷热分离
    冷热分离当数据库表数据体量大,即使是做了很多SQL层面的优化(索引、执行计划、优化语句、表结构设计)读写依然很慢可以考虑从冷热数据分离去提高速度热数据:对用户而言,是需......
  • Python深度学习:逻辑、算法与编程实战
    "IT有得聊”是机械工业出版社旗下IT专业资讯和服务平台,致力于帮助读者在广义的IT领域里,掌握更专业、实用的知识与技能,快速提升职场竞争力。 今天为您推荐一本精品图书--Pyt......
  • 图像处理学习笔记-05-图像复原与重建2
    估计退化函数图像观察估计首先观察图像的一个小矩形区域,之后处理子图像得到想要的结果,得到一个子图像的原图像估计之后通过下式:\[H_s(u,v)=\frac{G_s(u,v)}{\hat{F}_s......
  • 为什么每个程序员都需要学习算法?看了你就明白了。
    "IT有得聊”是机械工业出版社旗下IT专业资讯和服务平台,致力于帮助读者在广义的IT领域里,掌握更专业、实用的知识与技能,快速提升职场竞争力。 点击蓝色微信名可快速关注我们!......
  • 中国汉字,日本汉字 学习Android App推荐
    JapaneseKanjiStudyhttps://play.google.com/store/apps/details?id=com.mindtwisted.kanjistudy HanpingCantoneseDictionaryhttps://play.google.com/store/ap......