首页 > 其他分享 >ES搜索框架--基本原理

ES搜索框架--基本原理

时间:2023-04-08 16:47:51浏览次数:47  
标签:-- 基本原理 关键词 索引 文档 评分 分词 ES

一、基本原理

参考博客(非常详细):https://blog.csdn.net/weixin_43111776/article/details/124952148

我们先来看看MySQL中的索引,在MySQL关系表中,每一行数据都有一个主键,我们在查询数据的时候会先找到数据的主键,再根据主键去找到整行数据,这种索引形式成为正排索引,本质是通过key来查询value。而ES使用的倒排索引正好与之相反,是通过对value进行分词,然后根据关键词通过value去查询key。

在搜索引擎中,每个文档都有一个对应的文档 ID,文档内容被表示为一系列关键词的集合。例如,文档 1 经过分词,提取了 20 个关键词,每个关键词都会记录它在文档中出现的次数和出现位置。那么,倒排索引就是关键词到文档 ID 的映射,每个关键词都对应着一系列的文件,这些文件中都出现了关键词。

这样就可以得到ES的评分过程:

查询:搜索内容分词--对词语查找它在哪些文档中出现过--计算某个文档中这个词语的评分--某个文档中出现的所有分词评分之和即为此文档的评分--根据评分输出结果列表

过滤:对词语查找所有对应的文档即为符合的文档--进行其他的查询评分操作


二、评分机制

官网介绍:https://www.elastic.co/guide/en/elasticsearch/reference/7.16/query-filter-context.html

1.查询

参考博客:https://www.cnblogs.com/wangchuanfu/p/7452809.html

使用TF/IDF算法,基本意思就是词频算法。

原理:根据分词词库,所有的文档在建立索引的时候进行分词划分。进行搜索的时候,也对搜索的短语进行分词划分。其中TF代表分词项在文档中出现的次数(term frequency),IDF代表分词项在多少个文档中出现(inverse document frequency)。

过程:将搜索的短语进行分词得出分词项,每个分词项和每个索引中的文档根据TF/IDF进行词频出现的评分计算。然后每个分词项的得分相加,就是这个搜索对应的文档得分。


2.过滤

filter过滤字段内容(答案是简单的是或否——不计算分数),存在则会出现在结果列表中,不存在则抛弃。

标签:--,基本原理,关键词,索引,文档,评分,分词,ES
From: https://www.cnblogs.com/Studywith/p/17298743.html

相关文章

  • macOS Ventura 13.3.1 (22E261) 正式版发布,ISO、IPSW、PKG 下载
    本站下载的macOSVentura软件包,既可以拖拽到Applications(应用程序)下直接安装,也可以制作启动U盘安装,或者在虚拟机中启动安装。另外也支持在Windows和Linux创建可引导介质。请访问原文链接:https://sysin.org/blog/macOS-Ventura/,查看最新版。原创作品,转载请保留出处。ma......
  • gradle 7.x 中的一些变更
    根目录下build.gradle变更变更前:buildscript{ext.kotlin_version='1.5.0'repository{mavenCentral()jcenter()}dependencies{classpath'com.android.tools.build:gradle:4.0.2'classpath&q......
  • ES搜索框架--Windows下简单使用ES框架
    前面讲述了什么是ES框架和为什么要用ES框架进行检索,现在开始尝试在windows下安装并简单使用ES框架参考:官方文档中文版,英文版linux下部署:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/_installation.html一、安装1.下载解压安装包官网选择相应版本进行下载zip包,在......
  • 当用 SA 来建后缀树
    因为学不会什么串串技术,所以我只会SA,至于SAM啥的我一窍不通,而后缀树也只知道定义!所以别和我说Ukkonen算法,因为我不会。以下假设原串\(\text{S}\)长度为\(n\),我们在后缀数组\(\text{SA}\)开头插入一个空串,用\(\text{H}\)数组(好像通常叫做\(\text{height}\)数组?)表示......
  • ES搜索框架--ES部署到Centos8服务器
    参考:https://blog.csdn.net/Me_xuan/article/details/114608076https://www.cnblogs.com/chenxitag/p/12320868.html一、下载安装1.下载ES使用elasticsearch7.10.2,到官网下载对应的linux包,然后上传到服务器文件夹下,cd到文件夹后使用tar命令解压tar-xvfelasticsearch-7.10.2-linu......
  • 股票买卖模型
    股票买卖模型题目描述给定一个长度为\(N\)的数组,数组中的第\(i\)个数字表示一个给定股票在第\(i\)天的价格。如果你最多只允许完成一笔交易(即买入和卖出一支股票),设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。输入格式第一行包含整数\(N......
  • mac m1安装stable-diffusion-webui
    1.准备安装环境[email protected]下载stable-diffusion-webuigitclonehttps://github.com/AUTOMATIC1111/stable-diffusion-webui.git3.下载huggingface模型https://huggingface.co/runwayml/stable-diffusi......
  • 【AIGC未来的发展方向】面向人工智能的第一步,一文告诉你人工智能是什么以及未来的方向
    人工智能的概念当人们提到“人工智能(AI)”时,很多人会想到机器人和未来世界的科幻场景,但AI的应用远远不止于此。现在,AI已经广泛应用于各种行业和生活领域,为我们带来了无限可能。AI是一个广泛的概念,它包括很多不同的技术,例如机器学习、深度学习、自然语言处理等等。这些技术都具有......
  • Retrofit 的基本用法
    一、添加依赖和网络权限添加依赖implementation'com.squareup.retrofit2:retrofit:2.9.0'implementation'com.squareup.retrofit2:converter-gson:2.9.0'//可选implementation'com.squareup.okhttp3:logging-interceptor:4.9.3'第一条依赖是下载Retrofit、Ok......
  • JavaScript 中使用正则表达式的方法
    目录使用方法常见的使用方法test()exec()match()replace()split()使用方法在JavaScript中,正则表达式可以用字面量语法创建。字面量语法是一种非常简单直观的表示正则表达式的方式。它使用两个斜杠(/)括起来,如下所示:constregex=/pattern/;例如,要匹配字母a和b之间的所有字......