- 2024-08-05HanLP和BERT-BiLSTM-CRF在命名实体识别上的区别
HanLP和BERT-BiLSTM-CRF在命名实体识别(NamedEntityRecognition,NER)方面的主要区别体现在模型架构、特征提取能力、训练方式以及应用场景的适应性上。1.模型架构HanLP:HanLP是一个开源的自然语言处理工具包,它提供了包括命名实体识别在内的多种中文文本处理功能。HanLP内部
- 2024-02-02HanLP — 命名实体识别
目录8.命名实体识别8.1概述8.2基于隐马尔可夫模型序列标注的命名实体识别8.3基于感知机序列标注的命名实体识别8.4基于条件随机场序列标注的命名实体识别8.5命名实体识别标准化评测8.6自定义领域命名实体识别8.命名实体识别8.1概述命名实体文本中有一些描
- 2024-01-31HanLP — 词性标注
词性(Part-Of-Speech,POS)指的是单词的语法分类,也称为词类。同一个类别的词语具有相似的语法性质所有词性的集合称为词性标注集。词性的用处当下游应用遇到OOV时,可以通过OOV的词性猜测用法词性也可以直接用于抽取一些信息,比如抽取所有描述特定商品的形容词等词性标注词性标注指
- 2024-01-19HanLP — 汉字转拼音 -- JAVA
目录语料库训练加载语料库训练模型保存模型加载模型计算调用HanLP在汉字转拼音时,可以解决多音字问题,显示输出声调,声母、韵母,通过训练语料库,本文代码为《自然语言处理入门》配套版本HanLP-1.7.5对重载不是重任进行转拼音,效果如下:原文:重载不是重任拼音(数字音调):chong2,zai3,bu
- 2023-12-31java 中文转拼音获取首字母
Java中文转拼音获取首字母1.引言在日常开发中,经常会遇到需要将中文转换为拼音的需求。拼音是一种将汉字转换为音节的方法,可以帮助我们更好地处理中文文本。在Java中,我们可以使用多种方式实现中文转拼音功能,其中最常用的是使用第三方库。本文将为大家介绍Java中常用的中文转拼音
- 2023-12-13HanLP — HMM隐马尔可夫模型 -- 训练和预测
BMES=>B-begin:词语开始、M-middle:词语中间、E-end:词语结束、S-single:单独成词训练的过程,就是求三个矩阵的过程初始概率矩阵转移概率矩阵发射矩阵每个字有4种可能性,上图中有7个字,就是4^7种可能性维特比算法,从众多路径中,挑出最优的那条,他和隐马尔可夫没有强关联初
- 2023-12-13HanLP — HMM隐马尔可夫模型 -- 语料库
BMES=>B:词语开始、M:词语中间、E:词语结束、S:单独成词并非所有中文任务都需要分词语料库每行是一篇“文章”每篇文章用空格分开语料库的准确性,严重影响分词结果理论上,语料库越大越好每个字都有一个标识(隐藏状态),可以根据语料库得到所有标识中文分词就是为了得到状态
- 2023-11-25HanLP 学习
学习HanLP需要了解,双数组Trie树(Double-arrayTrie)Aho-CorasickDoubleArrayTire算法ACDAT-基于双数组字典树的AC自动机TreeMappipinstallhanlp[full]-ihttps://pypi.tuna.tsinghua.edu.cn/simpleHanLP词性标注集标签含义a形容词ad副形词ag
- 2023-07-24中文同义词库java
中文同义词库Java在自然语言处理领域,同义词是指在语义上具有相似或相同意义的词语。使用同义词可以帮助我们对文本进行更准确的分析和理解。为了方便开发者进行中文文本处理,我们可以利用中文同义词库来实现同义词替换、文本相似度计算等功能。本文将介绍如何使用Java编程语言来
- 2023-06-25如何让你的客服问答系统从“人工智障”到“人工智能”
前段时间接手了公司遗留的一个所谓“智能客服机器人”的项目,改进了之前团队的“人工智障”设计,颇有收获。今天是1024,程序员节。我们就来整点干货,八一八整个项目的血泪教训。 这个项目是给某医院做的自动客服系统,对接了微信公众号,要求能回复一些固定种类的问题。比如:1.住院部在几
- 2023-05-16c# HanLP 分词,主要是为了 更好的搜索数据,便于搜索文章,对文章进行统一的分词
c#HanLP 分词,主要是为了 更好的搜索数据,便于搜索文章,对文章进行统一的分词HanLP框架搭建IKVM是一个c#端的java虚拟机下载地址:https://sourceforge.net/projects/ikvm/files/HanLP由三部分组成,类库hanlp.jar包、模型data包、配置文件hanlp.properties主要用来,支持中文分词(N-
- 2023-04-19HanLP
向生产环境的多语种自然语言处理工具包,基于PyTorch和TensorFlow2.x双引擎,目标是普及落地最前沿的NLP技术。HanLP具备功能完善、精度准确、性能高效、语料时新、架构清晰、可自定义的特点。https://githubfast.com/hankcs/HanLP/tree/doc-zh
- 2023-02-06NLP基础-准确分词(使用工具分词)
关于NLP相关包安装配置,可以参考:NLP工具包安装配置关于分词的原理可以参考:自然语言处理NLP-隐马尔科夫)1.加载字典来保证词可以分准对一些专业的名词来说,使用原有的词
- 2022-12-12HanLP Demo(学习笔记)
需求,实习需要学习这个。感觉蛮好玩的.....我是这样做的:根据网上的资料,自己整理,因为是开源的,所以配合Demo理解,不是算法层次的,嗯,更新中....data包没下载下来,家里这边网不支持
- 2022-11-15AI 智能搜索 开源hanlp实现
AI智能搜索通过网络资源可知有很多种开源方式实现智能搜索,其中hanlp在GitHub中响应居高参考链接:https://www.hanlp.com/Java版:https://github.com/hankcs/HanLPPyth
- 2022-11-11.net 自动摘要等算法 HanLP.net
HanLP.net参考资料:http://www.hankcs.com/nlp/call-hanlp-in-csharp.html 目前自动摘要算法似乎没有.net版本,而以java,python居多