首页 > 其他分享 >Elasticsearch搜索功能的实现(二)--Elasticsearch中的核心概念与DSL

Elasticsearch搜索功能的实现(二)--Elasticsearch中的核心概念与DSL

时间:2023-04-18 23:14:44浏览次数:44  
标签:副本 -- 索引 DSL Elasticsearch 分片 集群 节点

一、Elasticsearch中的核心概念

1、索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说,可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引

一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字

2、映射 mapping

ElasticSearch中的映射(Mapping)用来定义一个文档

mapping是处理数据的方式和规则方面做一些限制,如某个字段的数据类型、默认值、分词器、是否被索引等等,这些都是映射里面可以设置的

image

3、字段Field

相当于是数据表的字段|列

4、字段类型 Type

每一个字段都应该有一个对应的类型,例如:Text、Keyword、Byte等

5、文档 document

一个文档是一个可被索引的基础信息单元,类似一条记录。文档以JSON(Javascript Object Notation)格式来表示;

6、集群 cluster

一个集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引和搜索功能

7、节点 node

一个节点是集群中的一个服务器,作为集群的一部分,它存储数据,参与集群的索引和搜索功能

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做“elasticsearch”的集群中

这意味着,如果在网络中启动了若干个节点,并假定它们能够相互发现彼此,它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中

在一个集群里,可以拥有任意多个节点。而且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。

8、分片和副本 shards&replicas

8.1 分片

一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢
为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片
当创建一个索引的时候,可以指定你想要的分片的数量
每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上
分片很重要,主要有两方面的原因
允许水平分割/扩展你的内容容量

允许在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量

至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户来说,这些都是透明的

8.2 副本

在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的一份或多份拷贝,这些拷贝叫做副本分片,或者直接叫副本
副本之所以重要,有两个主要原因

  1. 在分片/节点失败的情况下,提供了高可用性。

注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的 (错峰 和redis cluster一样)

  1. 扩展搜索量/吞吐量,因为搜索可以在所有的副本上并行运行

每个索引可以被分成多个分片。一个索引有0个或者多个副本

一旦设置了副本,每个索引就有了主分片和副本分片,分片和副本的数量可以在索引

创建的时候指定在索引创建之后,可以在任何时候动态地改变副本的数量,但是不能改变分片的数量

二、DSL

Domain Specific Language

Elasticsearch提供了基于JSON的DSL来定义查询。

DSL由叶子查询子句和复合查询子句两种子句组成。

image

标签:副本,--,索引,DSL,Elasticsearch,分片,集群,节点
From: https://www.cnblogs.com/gdwkong/p/17331575.html

相关文章

  • [心路历程]从事自媒体行半年心路历程以及未来规划
    2022年9月13号入职公司10月1号开始正式更新视频总的来说这半年基本保持日更的状态,但明显能感觉自己处于一个瓶颈期需要一个提升自己后期能力水平的学习过程。但半年时间导致我抛弃了很多良好的学习习惯。例如坚持每天学习,记录学习笔记。但是现在开始需要逐步捡回当初学习的......
  • 团队冲刺个人博客2
    今天的工作比较多,上午满课,下午上的python课完成了python的实验报告,学到一些python的知识.下午和晚上一直在完善科技政策查询系统的作业,并根据老师的要求一直在改代码,下面附上一部分的代码test.jsp<%@pagelanguage="java"contentType="text/html;charset=UTF-8"%>......
  • 人脸识别 进度5
    赵胜府:今天我修复了昨天传参报错的问题,改善了页面乱码的问题,实现了功能流畅运行,完成了组长交给的任务,遇到的问题,session传值问题,我不会多值传参,只会一个,不过好在可以改。王垚基:今天:完成了调用百度的api接口,准备完成学生人脸录入功能问题:获取**access_token**的时候出错张旭彤:写......
  • 【THM】Python Basic(Python基础)-学习
    本文相关的TryHackMe实验房间链接:https://tryhackme.com/room/pythonbasics本文相关内容:使用基于网络的代码编辑器,学习Python的基础知识,并将你的知识付诸实践。Python简介在本文中,你将亲身体验并学习脚本编程语言Python,学会编程允许你创建一些安全工具以及创建脚本,这将帮助你......
  • scrum项目冲刺_day5会议总结
    今日团队任务:图片转excel(5天)前端开发(需团队风格统一)调用接口(后端),json数据->excel前后端连接           任烁玚(进行中)            图片转html(8天)前端开发(需团队风格统一)图片转为pdf(存储)pdf转html(调用接口)[html存储到数据库]前后台数据同......
  • 打卡 无规矩不成方圆 - C/C++ 多态
    请结合如图所示的继承关系设计Shape、Circle以及Rectangle类,使得下述代码可以正确计算并输出矩形和圆的面积。提示:Shape的析构以及area()函数都应为虚函数。  裁判测试程序样例://Project-Shapes#include<iostream>usingnamespacestd;//在此处定义Shape,Cirlce及......
  • 关于大数乘法的数组类型问题(int 还是char)
    可以知道在处理高精度乘法的时候,我们是不考虑当场进位的,在所有位数都模拟完竖式乘法后才进行逐位进位,这就要求存储每个位的数组保证不会爆掉溢出众所周知char类型最多只能存储到255,非常非常容易溢出成负数,对于char型数组要考虑每一步乘法都要进位。而int型数组最大21亿就不用考......
  • Programming: array
      Cintarr[5];bracketsmustfollowtheidentifier,definitionofvariablewitharraytypeneedsanexplicitsizeofaninitializer  ......
  • 项目讲解之常见安全漏洞
    本文是从开源项目RuoYi的提交记录文字描述中根据关键字漏洞|安全|阻止筛选而来。旨在为大家介绍日常项目开发中需要注意的一些安全问题以及如何解决。项目安全是每个开发人员都需要重点关注的问题。如果项目漏洞太多,很容易遭受黑客攻击与用户信息泄露的风险。本文将结合3个典......
  • Elasticsearch搜索功能的实现(四)--使用ECK安装Elasticsearch开发环境
    一、ECK安装ES1、在k8s集群上安装ECK1.1安装自定义资源root@DESKTOP-H5OMIME:~#kubectlcreate-fhttps://download.elastic.co/downloads/eck/2.6.1/crds.yamlcustomresourcedefinition.apiextensions.k8s.io/agents.agent.k8s.elastic.cocreatedcustomresourcedefini......