首页 > 其他分享 >ner的回忆与暂别

ner的回忆与暂别

时间:2023-10-12 16:45:26浏览次数:33  
标签:语句 ner 实体 暂别 随机 一些 数据 回忆

最近在做一些ner方面的工作,想到了一些小细节,这里回顾记录一下自己之前工作中用到的一些小技巧,主要是通过数据增强和训练策略做一些小提升。后面估计主要工作研究点放大模型和知识图谱了,记录一下原始的

数据集的采集:

  • 很多项目没有数据集,那么就需要我们去找一些数据集,数据集的一些网站如下:

  • 数据增强技巧

    • 同类型实体随机替换,当实体全集足够全足够多的时候,那么效果肯定是最好的
    • 实体随机MASK,实体根据语句长度随机删除实体中的字
    • 实体拼接,拼接同类实体能够增多实体的识别
    • 训练的时候动态加载替换的实体,那么语料中10个实体训练一轮中随机替换一次能够换一次实体
    • 随机删除全是“O”的语句中的一些停用词,或者一定概率删除全是“O”的语句

标签:语句,ner,实体,暂别,随机,一些,数据,回忆
From: https://www.cnblogs.com/edkong/p/17656197.html

相关文章

  • 捕捉回忆的时光机:用AI智能管理的NAS,提升整理效率
    记忆会模糊,但照片不会,每次打开照片的时候背后的故事就会浮现在我们眼前。当然,我们现在的设备也越来越多了,当我们要找某一张照片时总是需要从散落在各个设备里的照片库寻找,花费大量时间。而TerraPhotos的出现,无论是很多年前的照片,奔赴世界各地的打卡记录,每个陪我们走过一段时间的......
  • unknown or unsupported macOS version: :dunno (MacOSVersionError)
    在安装libimobiledevice报错如下unknownorunsupportedmacOSversion::dunno(MacOSVersionError)主要原因是我禁用了brew自动更新脚本如下#HomebrewSettingsexportPATH="$PATH:$HOME/.rvm/bin"exportHOMEBREW_NO_AUTO_UPDATE=true[[-s"$HOME/.rvm/scr......
  • Scanner类方法的使用
    classDemos01{publicstaticvoidmain(String[]args){//创建一个扫描器对象,用于接收键盘数据Scannerscanner=newScanner(System.in);//System.in是输入的意思System.out.println("使用next方式接收:");//判断用户有没有输入字串......
  • 软件测试|教你学会SQL INNER JOIN的使用
    简介当我们在处理关系型数据库时,经常会涉及到将多个表进行连接操作。而其中最常见的连接操作是INNERJOIN。本文将详细介绍INNERJOIN的概念、语法和用法,以及一些实际应用示例。INNERJOIN的概念INNERJOIN是一种SQL操作,它通过共享相同值的列将两个或多个表连接在一起......
  • 解决PowerDesigner 16 Generate Datebase For Sql2005/2008 对象名sysproperties无效
    解决PowerDesigner16GenerateDatebaseForSql2005/2008对象名sysproperties无效的问题在PowerDesigner16中生成的sql语句,在执行的时候报错:对象名sysproperties无效的错误;造成此问题的原因是由于Sql2005、2008删除了系统表sysproperties而改用sys.extended_proper......
  • 【读论文】CM-Gen: A Neural Framework for Chinese Metaphor Generation with Explic
    为了更好的阅读体验,请点击这里由于发不出论文,所以找点冷门方向做一做。从汉语比喻开始。读完这篇论文之后我觉得COLING这方向我上我也行(ε=ε=ε=┏(゜ロ゜;)┛题目:CM-Gen:ANeuralFrameworkforChineseMetaphorGenerationwithExplicitContextModelling论文链接代......
  • Perkins 1106D Generation CID 0003 FMI 05 Trouble Code Solution
     ThisillustrationgivethesolutionforPerkins1106Delectricpowergeneration(EPG)CID0003FMI05troublecode.RelatedContents:PerkinsESTCompactAdapterPerkinsEST2023A&2022A&2019ASoftwareFreeDownloadPerkins1106DElectricPower......
  • Scanner写法
    Scanner有什么用Scanner类用于获取用户的输入基本语法Scanners=newScanner(System.in)//(Scanners=)这部分可以在输入后半部分后通过alt+ender快速输入通过Scanner类的next()或nextLine()获取输入的字符串一般使用hasNext()或hasNestLine()判断是否还有输入的数据关......
  • Generative AI 新世界 | 文生图领域动手实践:预训练模型的微调
    在上期文章,我们探讨了预训练模型的部署和推理,包括运行环境准备、角色权限配置、支持的主要推理参数、图像的压缩输出、提示工程(PromptEngineering)、反向提示(NegativePrompting)等内容。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案......
  • QECon大会亮相产品,更合适的企业级测试平台:RunnerGo
    在当今这个数字化时代,应用程序的性能至关重要。一款可靠的性能测试工具,能够为企业带来无数的好处。最近,一款名为RunnerGo的开源性能测试工具备受瞩目。本文将详细介绍RunnerGo的特点、优势以及如何解决性能测试中的痛点。 RunnerGo产品介绍RunnerGo是一款由国内开发者自主研......