分词器定义:
从一串文本中切分出一个一个的词条,并对每个词条进行标准化
分词处理过程:
1、分词前预处理:过滤HTML标签、特殊符号转换
2、分词:
3、标准化:大小写转换、单复数转换、同义词转换
ES内置分词器:
1、standard分词器:默认将词汇单元转换成小写形式,去掉领用词和标点符号,中文按单字切分
2、simple分词器:先通过非字母字符来分割文本信息,然后奖词汇单元统一为小写形式。也会去掉数字类型字条
3、whitespace分词器:能去掉空格;但不能大小写转换,不支持中文;也不进行标准化处理
4、language分词器:特定语言分词器,不支持中文
搜索匹配度计算:
1、相关因素
TF:词条在当前文档里出现频率,次数越多相关度超高
IDF:词条在所有文档里出现频率,次数越多相关度越低
FL:字段长度,字段越长 相关度越低
2、计算过程
explain=true显示计算方式; 结果_score计算结果,"_explanation"显示计算过程
标签:功能,词条,Elasticsearch,分词器,相关度,去掉,分词,转换 From: https://www.cnblogs.com/liuchunxiao83/p/17935332.html