elasticsearch8.X tokenizer分词器优化

一、使用指定中文分词器

1.1 一个查询小例子

我们安装好es和kibana之后，就可以在kibana控制台开始我们的查询探索之旅。首先创建一个包含了两个字段“product"和"summary"的索引product_00:

PUT product_00
{
  "mappings": {
    "properties": {
      "product": {
        "type": "text"
        },
      "summary": {
        "type": "text"
      }
    }
  }
}

然后往索引里面插入文档：

PUT product_00/_doc/01
{
  "product":"洋芋",
  "summary":"来自云南的土豆，香甜软糯"
}
  
PUT product_00/_doc/02
{
  "product":"西红柿",
  "summary":"来自四川的西红柿，酸甜多汁"
}

PUT product_00/_doc/03
{
  "product":"地瓜",
  "summary":"来自山东的地瓜，肉厚甜糯"
}

然后就可以开始愉快地搜索了~

同样的也可以搜索到土豆和地瓜，但是当不小心搜索了一个跟蔬菜完全无关的词语“西班牙”时，奇怪的结果出现了，竟然也搜索出来了西红柿，这是我们完全不想要得到的搜索结果。

那么原因是什么呢，使用es的analyzer分析器功能来看一下。

GET product_00/_analyze
{
  "field" : "product",
  "text": "西班牙"
}

得到结果如下：

可以看出，在es进行match匹配时，是将搜索的文本拆分成单个的汉字进行搜索的，具体es搜索原理可以参见倒排索引。

另外也可以通过在查询语句里面增加"explain"选项，对查询结果进行解释：

我们暂时不需要理解这里面每一行的具体含义，但是可以大致理解一下，查询结果是因为匹配到了summary字段里面的”西“字。

然而实际上我们希望将”西班牙“、”西红柿“作为一个词来进行检索，不要将他们分开，可是默认的中文分词器是将每个中文汉字拆开了。

2.2 中文分词器

我们需要一个中文分词器，将文本按照正常逻辑分词。目前比较常见的中文分词器有ik、cutword、jieba等，本文使用ik。

在线安装ik（GitHub - infinilabs/analysis-ik），运行下面的命令，然后重启es。安装好了之后我们得到了ik_smart和ik_max_word两个分词器，一般前者用于搜索时分词，后者用于索引时分词。

bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.4.1

其他ik离线安装方法和docker打包ik的方法可以参见这边文章。

验证ik分词器是否安装完好，如下图所见，西班牙已经作为一个单独的词语了。

3.3 索引和搜索时定义analyzer

安装了分词器之后，重新创建索引，并在创建索引时指定分词器

PUT product_01
{
    "settings": {
      "analysis": {
        "analyzer": {
          "default": {
            "type": "ik_max_word" 
          },
          "default_search": {
            "type": "ik_smart"  
          }
        }
      }
    },
    "mappings": {
      "properties": {
        "product": {"type": "text"},
        "summary": {"type": "text"}
      }
    }
  }

还是按照前文插入三条蔬菜数据，然后再查询"西班牙"时，就不会再查出来"西红柿"了。

二、停用词和专有名词

2.1 一些检索时不希望匹配到的词

再看这样一个场景，搜索来自“贵州”的农产品，es里面没有贵州的蔬菜，所以搜索的结果应该是空，可实际上进行检索时却得到了如下的数据：

这并不是预期的结果，我们可以用highlight或者explain看一下匹配原因：

原来是查询词里面的“来自”和summary字段里面的词匹配上了，但是从搜索的角度来看，“来自贵州”用户的搜索意图实际上是“贵州”，而不希望“来自”这个词去匹配，那么对于这种情况可以使用到分词里面的stopword配置。

2.2 专有名词

再看这样一个场景，首先更新一下数据，在summary里面加上蔬菜公司“西红柿首富”和“咚咚买菜”，然后再根据蔬菜公司“西红柿首富”进行搜索，果不其然不仅搜出来了对应的公司也搜索出来了包含“西红柿”的文档。

在这种场景下我们希望“西红柿首富”字段作为一个专有的名词来进行索引和检索，这种情况我们可以使用到分词器的extraword配置。

2.3 配置stopword和extraword

针对上面两种场景，我们编辑 plugins/analysis-ik/config/路径IKAnalyzer.cfg.xml文件，分别对扩展词文件和停用词文件进行配置扩展如下:

在当前路径下分别编辑这两个文件，在extra_stopword.dic 文件中新增一行“来自”

在my_extra_word.dic文件里面新增一行“西红柿首富”。这样就完成了配置。

然后重启es，并重新插入数据（数据必须要重新插入，要不然直接检索会得不到数据，原因读者可以思考一下~）。

然后我们再次进行前面两个场景的检索，现在得到就是正确结果了。

三、同义词

在查询时我们经常会遇到同义词查询的场景，比如“番茄”和“西红柿”，“猕猴桃”和“奇异果”等等。这种情况下可以使用Elasticsearch的synonyms功能。

首先，我们在Elasticsearch/config目录下，新建一个analysis文件夹，创建一个名叫synonyms.txt的文档，每一行编辑一系列的同义词，用逗号隔开。示例内容如下

土豆,洋芋
番茄,西红柿

然后定义同义词filter， 配置同义词文档路径（注意路径是以elasticsearch/config为根目录的相对路径），然后根据ik分词器扩展带有同义词的自定义分词器 ik_smart_synonyms，并将 ik_smart_synonyms配置成查询时分析器，创建索引如下：

PUT product
{
    "settings": {
      "analysis": {
        "filter":{
          "my_synonym_filter": {
            "type":"synonym",
            "synonyms_path":"analysis/synonyms.txt",
            "updateable":true
          }
        },
        "analyzer": {
          "ik_smart_synonyms":{
            "type":"custom",
            "tokenizer": "ik_smart",
            "filter":[
              "my_synonym_filter"
              ]
          }
        }
      }
    },
    "mappings": {
      "properties": {
        "product": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_smart_synonyms"
          
        },
        "summary": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_smart_synonyms"
        }
      }
    }
  }

插入两条测试数据：

PUT product/_doc/01
{
  "product":"洋芋",
  "summary":"来自云南的土豆，香甜软糯"
}
  
PUT product/_doc/02
{
  "product":"西红柿",
  "summary":"来自四川的西红柿，酸甜多汁"
}

查询：

GET product/_search
{
  "query": {
    "match": {
      "product": {
        "query":"番茄"
      } 
    }
  }
}

查询结果如下：

【说明】

本文的配置均基于ES-8.14.1版本