首页 > 其他分享 >8.2 NLP主流任务和快速实践——NLP主流任务和快速实践

8.2 NLP主流任务和快速实践——NLP主流任务和快速实践

时间:2024-11-07 11:20:38浏览次数:3  
标签:NLP 自然语言 BERT 分类 实践 建模 主流 任务 文本

8.2 NLP主流任务和快速实践——NLP主流任务和快速实践

自然语言处理(natural language processing,简称NLP)是计算机科学和人工智能领域重要的方向,自2018年BERT预训练模型被提出以来,自然语言处理领域的各项任务指标不断被刷新,甚至在一些任务上已经超过了人类的基准值,例如阅读理解评测数据SQuAD 1.0。

预训练模型基于新的自然语言处理任务范式:预训练+微调,极大推动了自然语言处理领域的发展。

基于这个新的训练范式,预训练模型可以被广泛应用于NLP领域的各项任务中。一般来讲,比较常见的经典NLP任务包括以下四类:

  • 分类式任务:给定一串文本,判断该文本的类别标签
  • 问答式任务:给定问题和文档,要求从文档中抽取出问题的答案
  • 序列标注式任务:给定一串文本,输出对应的标签序列
  • 生成式任务:给定一串文本,同时要求模型输出一串文本

本节将讲解如何基于预训练模型BERT去建模分类式任务问答式任务和序列标注式任务,并基于文本分类式任务进行实践,帮助大家进一步理解。

1. 基于BERT实现NLP主流任务

预训练模型BERT于2018年被谷歌提出,在当时刷新了11项自然语言处理任务,推动自然语言评测数据集GLUE分数达到80.5%(相比之前的SOTA模型,绝对提升7.7%);推动自然语言推理数据集MultiNLI 分数达到86.7%(绝对提升4.6%);推动阅读理解数据集SQuAD v1.1 分数达到93.2%(绝对提升1.5%);推动SQuAD v2.0 分数达到83.1%(绝对提升5.1%),BERT对自然语言处理中的作用可见一斑,是自然语言处理领域名副其实的里程碑。

那如何基于BERT去建模自然语言处理领域的任务呢?下面我们以分类式任务、问答式任务和序列标注式任务为例,讲解基于BERT实现这些任务的方式。

1.1 分类式任务

一般来讲,分类式任务根据输入语句的数量是1句话还是2句话,可以将分类式任务分为单句分类任务和句对分类任务。

其中,比较常见的单句分类任务包括文本类别分类,情感极性分类等,此类任务基于BERT模型可以按照 图1.1a 进行建模,即构造输入序列后,使用[CLS] token 位置的输出向量进行单句文本分类。

比较常见的句对分类任务是文本匹配,其主要用于判断输入的两句话在语是否相似。其经典的建模方式如 图1.1b 所示, 和单句分类任务不同之处在于,句对分类任务需要对两句话使用 [SEP] token拼接为一串序列,然后输入BERT模型,其同样采用[CLS] token 位置的输出向量进行单句文本分类。

1.2 问答式任务

问答式任务是指在给定问题和文档,要求从文档中抽取出问题的答案,比较常见的任务是智能问答阅读理解

该类任务的建模方式如 图1.1c 所示,使用[SEP] token 将问题和文档进行拼接后输入BERT模型,同时从输出的序列向量中,去定位答案的起始和结束位置。

1.3 序列标注式任务

序列标注式任务:给定一串文本,输出对应的标签序列,比较常见的任务是命名实体识别文本分词词性标注等序列到序列的任务。

该类任务的建模方式如 图1.1d 所示,输入一串文本后,根据输入文本的序列向量预测文本序列中每个token的标签

图1.1 基于BERT的主流建模方式

在学习到这么多任务的建模方式后,下面我们基于分类式任务中的文本匹配任务进行实践,带领大家体验使用BERT建模文本分类任务。

2. 基于预训练模型BERT实现文本匹配任务

文本匹配是自然语言处理领域基础的核心任务之一,其主要用于判断给定的两句文本是否语义相似。文本匹配技术具有广泛的应用场景,比如信息检索、问答系统,文本蕴含等场景。

例如,文本匹配技术可以用于判定以下三句话之间的语义相似关系:

  1. 苹果在什么时候成熟?
  2. 苹果一般在几月份成熟?
  3. 苹果手机什么时候可以买?

文本匹配技术期望能够使得计算机自动判定第1和第2句话是语义相似的,第1和第3句话,第2和第3句话之间是不相似的。

本节将基于PaddleNLP库中的BERT模型建模文本匹配任务,带领大家体验预训练+微调的训练新范式。由于PaddleNLP库中的BERT模型已经预训练过,因此本节将基于预训练后的BERT模型,在LCQMC数据集上微调BERT,建模文本匹配任务。

标签:NLP,自然语言,BERT,分类,实践,建模,主流,任务,文本
From: https://blog.csdn.net/m0_67184231/article/details/143589815

相关文章

  • 微信后团队分享:微信后台基于Ray的分布式AI计算技术实践
    本文由微信后台Astra项目团队分享,原题“Ray在微信AI计算中的大规模实践”,下文进行了排版和内容优化。1、引言微信存在大量AI计算的应用场景,主要分为三种:流量分发、产品运营和内容创作。流量分发场景中的AI计算主要用于搜索、广告、推荐场景的核心特征生产,产品运营相关的AI......
  • 保障性住房管理:SpringBoot技术实践
    1系统概述1.1研究背景随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理城镇保障性住房管理系统的相关信息成为必然。开发合适的城镇保障性住房管理系统,可以方便管......
  • 克服并发与容错:分布式任务调度系统实践
    5万字长文趁还没火赶紧收藏,比知识星球的项目质量高还不付费,你去哪儿找?基于spring环境开发,拒绝CRUD,让你体验后端的美我们为什么需要任务定时调度系统?从后端角度讲,任务定时调度系统广泛应用于数据备份、日志清理、系统维护等场景,能够显著提高系统的自动化程度和运......
  • 社会实践活动系统的设计与实现 毕业设计源码66598
    摘 要随着社会的不断发展和进步,社会实践活动在学校教育中扮演着越来越重要的角色。社会实践活动不仅可以帮助学生将理论知识与实际经验相结合,还可以培养学生的实践能力、团队合作能力和社会责任感。为了更好地组织和管理社会实践活动,许多学校和教育机构开始利用信息技术开......
  • 分布式架构设计之Base理论深度剖析:从理论到实践的完美融合
    引言一、Base理论概述1.1.基本可用(BasicallyAvailable)1.2.软状态(SoftState)1.3.最终一致性(EventuallyConsistent)二、Base理论在分布式架构设计中的应用2.1.分布式数据库设计2.2.分布式缓存设计2.3.分布式服务设计三、Base理论的局限性及应对策略3.1Base理论的......
  • 边缘计算的基本概念与实践
    在物联网(IoT)领域,边缘计算正逐渐成为一种重要的技术趋势。随着设备数量的激增和数据量的不断增加,传统的集中式云计算模式已经难以满足实时性、数据安全性和带宽效率的需求。边缘计算通过将计算资源下沉到网络边缘,靠近数据源头,从而实现更高效的数据处理和传输。本文将详细介绍......
  • Spark on YARN:Spark集群模式之Yarn模式的原理、搭建与实践
    Spark的介绍与搭建:从理论到实践-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交:本地与集群模式全解析-CSDN博客目录一、SparkonYARN的优势(一)统一化资源管理(二)YARN调度机制的优势二、Spark......
  • 百丽:从Mycat 到OceanBase 4.x 的实践
    百丽时尚集团,作为大型的时尚鞋服集团,业务遍布中国超过300个城市,直营门店数量超9,000家。集团构建了以消费者为中心的垂直一体化业务模式,涵盖时尚洞察、商品企划、设计研发、生产制造、商品管理、DTC零售及客户运营的全价值链,每个环节都应用了数字化技术,并坚定不移地加大科技投......
  • 实践中如何优化 MySQL:深入剖析与策略分享
    MySQL作为一款广泛应用的关系型数据库管理系统,在企业级应用和互联网服务中扮演着重要的角色。然而,随着业务规模的增长和数据量的增加,如何有效地优化MySQL性能,确保系统在高并发、大数据量的环境下仍能高效运行,成为开发者和数据库管理员的重要课题。本文将深入探讨MySQL......
  • 海量数据迁移:Elasticsearch到OpenSearch的无缝迁移策略与实践
    文章目录一.迁移背景二.迁移分析三.方案制定3.1使用工具迁移3.2脚本迁移四.方案建议一.迁移背景目前有两个es集群,版本为5.2.2和7.16.0,总数据量为700T。迁移过程需要不停服务迁移,允许一小时不写数据,但是需要提供数据存储方案。迁移到opensearch的版本为1.3.4。二.迁移分......