首页 > 其他分享 >Elasticsearch 分词功能

Elasticsearch 分词功能

时间:2023-12-29 19:55:41浏览次数:30  
标签:功能 词条 Elasticsearch 分词器 相关度 去掉 分词 转换

分词器定义:

从一串文本中切分出一个一个的词条,并对每个词条进行标准化

分词处理过程:

1、分词前预处理:过滤HTML标签、特殊符号转换

2、分词:

3、标准化:大小写转换、单复数转换、同义词转换

ES内置分词器:

1、standard分词器:默认将词汇单元转换成小写形式,去掉领用词和标点符号,中文按单字切分

2、simple分词器:先通过非字母字符来分割文本信息,然后奖词汇单元统一为小写形式。也会去掉数字类型字条

3、whitespace分词器:能去掉空格;但不能大小写转换,不支持中文;也不进行标准化处理

4、language分词器:特定语言分词器,不支持中文

搜索匹配度计算:

1、相关因素

TF:词条在当前文档里出现频率,次数越多相关度超高

IDF:词条在所有文档里出现频率,次数越多相关度越低

FL:字段长度,字段越长 相关度越低

2、计算过程

explain=true显示计算方式; 结果_score计算结果,"_explanation"显示计算过程

 

标签:功能,词条,Elasticsearch,分词器,相关度,去掉,分词,转换
From: https://www.cnblogs.com/liuchunxiao83/p/17935332.html

相关文章

  • iMessage群发,iMessage群发功能,iMessage群发功能设计,iMessage群发系统
    在数字通讯时代,群发消息已经成为我们日常生活中不可或缺的一部分,无论是商务、社交还是日常沟通,群发功能都大大提高了消息传递的效率和便利性。而在众多的通讯软件中,iMessage无疑是其中的佼佼者,今天,我们就来深入探讨一下iMessage群发功能的背后设计原理,带您一起走进其源代码的世界......
  • Apipost一键压测参数化功能详解
    最近更新中Apipost对UI页面进行了一些调整,另外一键压测功能支持参数化!本篇文章将详细介绍这些改动!API调试页面的细节改动在请求区填入请求参数或脚本时会有相应的标识如在Query中填入多个参数时上方会展示数量在预、后执行脚本中写入脚本上方会有绿色小点标识一键压测参数化一键压......
  • Apipost一键压测参数化功能详解
    最近更新中Apipost对UI页面进行了一些调整,另外一键压测功能支持参数化!本篇文章将详细介绍这些改动!API调试页面的细节改动在请求区填入请求参数或脚本时会有相应的标识如在Query中填入多个参数时上方会展示数量在预、后执行脚本中写入脚本上方会有绿色小点标识 一键压测参......
  • 企业erp支出审批收入审批以及支出收入总结功能
     总结:收入和支出实体类相似。结果相当于将收入和支出已通过的内容中金额属性相加减计算的出。 ......
  • 在 PyCharm 中,"视图"通常指的是 IDE 的不同部分和面板,它们提供了不同的功能和信息¹。
    在PyCharm中,"视图"通常指的是IDE的不同部分和面板,它们提供了不同的功能和信息¹。以下是一些常见的PyCharm视图:1.**项目视图**:显示项目的文件和目录结构³。可以通过选择`View->ToolWindows->Project`来调出³。2.**运行视图**:显示程序运行的输出信息³。可以通过......
  • springboot(功能权限分配和脚本实现功能分配)
    一、功能权限分配添加菜单按钮:这时的按钮菜单是手动添加,后面可以自动生成 进入到角色管理,修改普通角色,添加权限之后,登录普通角色,在这之前需要先重置一下普通角色的密码 登录普通角色,普通角色就可以拥有权限,进行一系列操作: 二、脚本功能权限分配运行代码生成器的facor......
  • 开发商城小程序具有哪些模块和功能?(临沂软件定制开发-艾思软件)
    随着移动互联网的发展,微信小程序已经成为了企业、商家和开发者的重要工具。商城小程序作为微信小程序的一种类型,为商家提供了一个全新的销售渠道。本文将详细介绍商城小程序的模块和功能,并附带相关代码。一、商城小程序的模块首页模块:展示商城的热门商品、优惠活动等信息,吸引......
  • FreeBSD 14 正式版:最佳新功能
    FreeBSD14正式版:最佳新功能ThePowerToServe作者主页:sysin.org经过四个RC周期的漫长开发和测试阶段,FreeBSD14现在正式可供下载和升级。FreeBSD14带来了一些值得注意的变化,增强了功能和用户体验。在本文中,我们将了解此版本的一些关键更新。注意:此版本的官方公告即将发布,应......
  • 【HarmonyOS】ArkTS如何打开高德地图导航功能
     【关键字】鸿蒙应用开发、ArkTS、拉起高德地图、打开导航1、写在前面在应用开发的过程中,可能会遇到过这样的需求,拉起第三方导航应用,比如点击某个按钮直接跳转到高德地图导航的页面,那这个需求在鸿蒙中该如何实现呢?2、解决方案对于这个需求,其实实现起来也很简单,通过deeplink的方式,......
  • 基于 Windows10 搭建 ELK (Elasticsearch 8 + Kibana + Logstash)
    参考https://www.cnblogs.com/hualess/p/11540477.htmlhttps://blog.csdn.net/susu1083018911/article/details/124551632https://blog.csdn.net/Dyanxier/article/details/131302723https://blog.csdn.net/qq_44768464/article/details/120101990https://www.cnblogs.com......