首页 > 其他分享 >一种融合指代消解序列标注方法在中文人名识别上的应用(上)

一种融合指代消解序列标注方法在中文人名识别上的应用(上)

时间:2024-04-17 10:36:20浏览次数:22  
标签:识别 职务 指代 消解 文本 数据 标注

技术领域

自然语言处理领域。

应用场景:

  适用于自然语言处理领域,通过命名实体识别(Named Entity Recognition,NER),准确识别实体。依托自然语言处理领域,基于人民日报数据及构造的舆情公告数据,提出一种融合指代消解的序列标注方法来改进人名识别。

解决的问题:

  实体包括人名、地名和组织名等,与其他实体相比,人名与职务、职务变更及人称代词有关。人名作为众多实体类别之一,常出现在信息资料库、图书馆借阅登记表、期刊文章等场景中。但在人名的实体识别时,人名语料的残缺及人称指代不明等问题,会严重影响识别的准确度,成为处理中的难点、痛点。

  基于人民日报数据及构造的舆情公告数据,提出一种融合指代消解的序列标注方法来改进人名识别。通过人民日报数据及构造的舆情公告数据,能有效缓解人名识别中人名语料不完善的问题;通过数据增强优化数据集,并对人称代词进行人称消解,解决人称代词指代不明、有效数据占比低等问题,提高人名提取的准确率。

系统方法说明

image.png

一、对数据进行数据增强:

  • 利用爬虫技术爬取到舆情公告文本数据。

  • 利用分词工具从海量文本中进行文本抽取,抽取出符合要求的单句文本。

  • 针对职务变更词和职务,设置自定义词典,达到数据增强的效果。

数据预处理阶段,根据职务变更等有效信息进行数据增强

  先利用爬虫技术爬取到舆情公告文本数据,之后利用分词工具从海量文本中进行文本抽取,抽取出符合要求的单句文本;再针对职务变更词和职务,设置自定义词典,达到数据增强的效果。

  首先,对文本数据进行清洗、分类,既可以减少噪声干扰,又能保证后续数据增强的正确性。接着,对职务变更词和职务进行细粒度区分,为后续测验铺垫。不进行数据预处理,即直接在原文本上也可以进行中文人名识别,但这样性能差。首先,对文本数据进行清洗、分类,既可以减少噪声干扰,又能保证后续数据增强的正确性。接着,对职务变更词和职务进行细粒度区分,为后续测验铺垫。

  在分词阶段,使用Jieba分词。虽然有的非全名字段,如“周先生”仍可成功识别,但是少许职务会被当作人名出现。为了解决该问题,通过设置禁用词表和自定义词典,改进粗略目标文本数据,进而得到最终的精确目标文本数据。在获得精确文本数据后,按照职务变更词、职务进行提取,达到数据增强的作用。

二、使用了BERT模型和指代消解算法:

  • 加入BERT语言预处理模型,获取到高质量动态词向量。

  • 融入指代消解算法,根据指代词找出符合要求的子串/短语。

【1】加入BERT语言预处理模型,获取到高质量动态词向量

  在使用BERT模型之前,有两大模型训练方式,一个是Word2Vec模型,它训练出来的词向量属于静态词向量,无法表示一词多义;另一个方法是使用GPT单向语言模型训练的,无法获取字的上下文信息,所以将单向的LSTM模块改为双向的BiLSTM模块,对单项GPT模型进行改进,变成双向语言模型。仅仅利用双向长短时记忆网络与条件随机场结合的方式,可以建模并标出序列的关系,但是无法动态表征。

  BERT模块主要进行“表示”作用,抽取丰富的文本特征,得到batch_size*max_seq_len*emb_size的输出向量。为了更好的学习上下文特征,加入BERT语言预处理模型,以Transformer结构为核心,进行一词多义并获取词的上下文信息,获取到高质量动态词向量。

  图1整体流程可知,通过分词器已经将句子x分割为a~e五个字,将其作为输入传给模型中BERT模块做训练处理,得到的输出向量作为模型中的BiLSTM模块的输入,进行特征提取,得到输出向量,将这五个向量作为输入,进入模型中的CRF层进行解码,计算最优的标注序列,至此已经能够有效地提高人名识别的准确率了。

【2】融入指代消解算法,根据指代词找出符合要求的子串/短语

  该部分将在《一种融合指代消解序列标注方法在中文人名识别上的应用(下)》重点阐述。

【3】融入的指代消解算法,比加入外部语料和字符级特征更通用有效

  该部分将在《一种融合指代消解序列标注方法在中文人名识别上的应用(下)》重点阐述。

该算法未来将拓展至机构名、地名以及其他所有以名称为标识的实体,能更好的服务于京东小程序客户体验中的寄收件地址的文本识别中,提高相关识别的准确率。

标签:识别,职务,指代,消解,文本,数据,标注
From: https://www.cnblogs.com/Jcloud/p/18139996

相关文章

  • 一种融合指代消解序列标注方法在中文人名识别上的应用(下)
    二、使用了BERT模型和指代消解算法:加入BERT语言预处理模型,获取到高质量动态词向量。融入指代消解算法,根据指代词找出符合要求的子串/短语。【2】融入指代消解算法,根据指代词找出符合要求的子串/短语指代消解算法如图2所示,简单来说,就是考虑文档中子串/短语以及学习子......
  • yolov8_数据集标注
    1labelimg标注1安装labelimg库:安装指令:pipinstalllabelimg(不推荐使用pip方式安装因为会有闪退,直接去github上下载.exe文件直接运行更稳定)启动指令:控制台输入:labelimg如果不能启动 2使用labelimg:修改默认设置:顶部view菜单中勾选住第一个自动保存选项在侧边......
  • objectarx中,修改标注数据之后无效的解决方法
    最近在写objectarx的标注,发现同样的代码,有些标注可以修改成功,但是有些修改之后无效。但是修改颜色之类的可以起效果。能修改成功的标注都是自定义的标注,用默认的标注修改之后就无效,并且返回值也都是eok。修改之后立马去查看标注的顶点数据,发现是修改之后的。但是在等到把对象关闭......
  • 产品中的图标icon切图、标注、团队配合
    产品中的图标icon切图、标注、团队配合切图切图手段切图图标了解切图结构切图命名状态类型知识总结切图界面设计下的重要能力,将界面内元素单独存成透明背景(例如PNG格式)的图片,并且为了不同设备和屏幕分辨率生成多倍数理想结果。切图手段位图输出和矢量图输出,使......
  • python UTF-8解码及脚本头的标注
    在Python中,如果你需要将编码为UTF-8的字节串解码为Unicode字符串,你可以使用内置的str类型的decode方法,或者使用bytes.decode()方法。但通常情况下,如果你已经在Python3中处理字符串,你可以直接将字节串(类型bytes)转换为字符串(类型str)。例如:python#假设我们有以下UTF-8编码的......
  • 目标检测数据集,全部有标注
    目标检测数据集,全部有标注,全部yolo格式,可直接跑训练,省时省心全部是自己采集或者手工标注,一键识别,不走弯路,标注不易可帮助转格式,无缝转成:VOC,COCO等可帮训练数据集大全导航:人体检测:86166张图片人脸检测:35460张图片车辆检测:16977张图片口罩检测:8996张图片安全帽检......
  • 标注工具labelme改造计划
    标注工具labelme改造计划文件列表改造如下所示,由平铺列表改成了树状结构的文件列表,同时能够显示文件个数,及已标注文件个数。支持导出自定义格式添加导出功能,可导出你想要的任意格式,默认情况下提供了一个sample示例。笔者添加了导出yolo格式。当你第一次打开labelme.ex......
  • 学习分词之词性标注
    jieba分词的词性表1.名词(1个一类,7个二类,5个三类)名词分为以下子类:n名词nr人名nr1汉语姓氏nr2汉语名字nrj日语人名nrf音译人名ns地名nsf音译地名nt机构团体名nz其它专名......
  • AutoCAD2024中标注的字体和箭头都很小看不清怎么办?
    在使用AutoCAD绘图的过程中,偶尔会出现标注字体和箭头很小,看不清楚的情况,如下,这种情况一般会出现在我们按照1:1绘图画大型尺寸图纸时,这主要是因为CAD默认的标注样式下,字体和箭头大小默认是2.5,而当图形尺寸较大时,标注文字和箭头相对就太小了,必须放大后才可以看到,下面给大家分享一下......
  • geoserver之shp图层标注样式
    geoserver之shp图层标注样式sld代码由udig生成。sld代码:<?xmlversion="1.0"encoding="GBK"?><sld:StyledLayerDescriptorxmlns="http://www.opengis.net/sld"xmlns:sld="http://www.opengis.net/sld"xmlns:gml="http://www.......