elasticsearch之ik分词器和自定义词库实现

ElasticSearch分词器

所谓的分词就是通过tokenizer(分词器)将一个字符串拆分为多个独立的tokens(词元-独立的单词)，然后输出为tokens流的过程。

例如"my name is HanMeiMei"这样一个字符串就会被默认的分词器拆分为[my,name,is HanMeiMei].ElasticSearch中提供了很多默认的分词器，我们可以来演示看看效果

 但是在ElasticSearch中提供的分词器对中文的分词效果都不好。

 所以这时我们就需要安装特定的分词器 IK，在https://github.com/medcl/elasticsearch-analysis-ik 下载对应的版本，然后解压缩

因为第一次启动docker容器的时候进行了数据卷的挂载

docker run -d \
--name es \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
elasticsearch:7.12.1

所以直接将解压缩后的包拖到

 这个目录下

最后重启es容器

ik分词演示

ik_smart分词

# 通过ik分词器来分词
POST /_analyze
{
"analyzer": "ik_smart"
,"text": "我是中国人，我热爱我的祖国"
}

ik_max_word

POST /_analyze
{
"analyzer": "ik_max_word"
,"text": "我是中国人，我热爱我的祖国"
}

 拓展词库和停用词典

在我们使用过程中我们会发现，一些新兴词汇不会被添加到词库中，如：奥里给。。。并且不是所有的词作者在编写分词器时都会知道。还有一些不敏感词汇如“的”，“了”都会被分词，占用了我们一部分内存，所以我们需要停用这些词汇

具体操作如下：

 打开shell控制台，找到对应的xml文件，在里面进行相应的修改

 然后在config目录下新建ext.dic

直接在里面添加你想要的词汇就行

 stopword.dic在config文件夹里面有，就不用新建了，直接打开添加你想要屏蔽的词汇就行

 最后重启一下服务

 最后测试一下生效了没

 能看到确实有效，ok了老铁。还有其他更多的内容去官网上看吧。拜拜了