首页 > 其他分享 >3.Elasticsearch核心概念

3.Elasticsearch核心概念

时间:2022-11-06 10:33:12浏览次数:48  
标签:概念 核心 索引 Elasticsearch 6.1 分片 文档 节点

6.1 核心概念

6.1.1 索引Index

一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母),并且当我们要对这个索引中的文档进行索引、搜索、更新和删除(CRUD)的时候,都要使用到这个名字。在一个集群中,可以定义任意多的索引。

能搜索的数据必须索引,这样的好处是可以提高查询速度,比如:新华字典前面的目录就是索引的意思,目录可以提高查询速度

Elasticsearch 索引的精髓:一切设计都是为了提高搜索的性能

6.1.2 类型Type

  • 在一个索引中,你可以定义一种或多种类型。
  • 一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。不同的版本,类型发生了不同的变化
  •  
  • 版本 Type
    5.x 支持多种 type
    6.x 只能有一种 type
    7.x 默认不再支持自定义索引类型(默认类型为: _doc)

 

 6.1.3 文档Document

一个文档是一个可被索引的基础信息单元,也就是一条数据。
比如:你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以 JSON(Javascript Object Notation)格式来表示,而 JSON 是一个到处存在的互联网数据交互格式。
在一个 index/type 里面,你可以存储任意多的文档

6.1.4 字段Field

相当于是数据表的字段,对文档数据根据不同属性进行的分类标识

 

6.1.5 映射Mapping

mapping 是处理数据的方式和规则方面做一些限制,如:某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的,其它就是处理 ES 里面数据的一些使用规则设置也叫做映射,按着最优规则处理数据对性能提高很大,因此才需要建立映射,并且需要思考如何建立映射才能对性能更好

6.1.6 分片Shards

理解为mysql数据库分表,一张表数据容纳不下,拆分为两张表,这里就类似于kafka里面的分区

一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间,而任一节点都可能没有这样大的磁盘空间。 或者单个节点处理搜索请求,响应太慢。为了解决这个问题,**Elasticsearch 提供了将索引划分成多份的能力,每一份就称之为分片。**当你创建一个索引的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上

分片很重要,主要有两方面的原因:

  1.允许你水平分割 / 扩展你的内容容量。
  2.允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量。
至于一个分片怎样分布,它的文档怎样聚合和搜索请求,是完全由 Elasticsearch 管理的,对于作为用户的你来说,这些都是透明的,无需过分关心。

被混淆的概念是,一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候, 他发送查询到每一个属于索引的分片(Lucene 索引),然后合并每个分片的结果到一个全局的结果集

6.1.7 副本Replicas

在一个网络 / 云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于
离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的, Elasticsearch 允许你创建分片的一份或多份拷贝,这些拷贝叫做复制分片(副本)。

复制分片之所以重要,有两个主要原因:

  1.在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的。
  2.扩展你的搜索量/吞吐量,因为搜索可以在所有的副本上并行运行。
总之,每个索引可以被分成多个分片。一个索引也可以被复制 0 次(意思是没有复制)或多次。一旦复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。

分片和复制的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制的数量,但是你事后不能改变分片的数量。

默认情况下,Elasticsearch 中的每个索引被分片 1 个主分片和 1 个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有 1 个主分片和另外 1 个复制分片(1 个完全拷贝),这样的话每个索引总共就有 2 个分片, 我们需要根据索引需要确定分片个数。

6.1.8 分配Allocation

将分片分配给某个节点的过程,包括分配主分片或者副本。如果是副本,还包含从主分片复制数据的过程。这个过程是由 master 节点完成的。

 

6.2 系统架构

1.一个运行中的 Elasticsearch 实例称为一个节点,而集群是由一个或者多个拥有相同cluster.name 配置的节点组成, 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时,集群将会重新平均分布所有的数据。


2.当一个节点被选举成为主节点时, 它将负责管理集群范围内的所有变更,例如增加、删除索引,或者增加、删除节点等。 而主节点并不需要涉及到文档级别的变更和搜索等操作,所以当集群只拥有一个主节点的情况下,即使流量的增加它也不会成为瓶颈。 任何节点都可以成为主节点。我们的示例集群就只有一个节点,所以它同时也成为了主节点。


3.作为用户,我们可以将请求发送到集群中的任何节点 ,包括主节点。 每个节点都知道任意文档所处的位置,并且能够将我们的请求直接转发到存储我们所需文档的节点。 无论我们将请求发送到哪个节点,它都能负责从各个包含我们所需文档的节点收集回数据,并将最终结果返回給客户端。 Elasticsearch 对这一切的管理都是透明的

标签:概念,核心,索引,Elasticsearch,6.1,分片,文档,节点
From: https://www.cnblogs.com/wmd-l/p/16862109.html

相关文章

  • SAP ABAP Netweaver 里的用户会话概念
    ASABAP的应用层可以分布在多个应用服务器上。如果一个ASABAP有多个应用程序服务器,它们通常在不同的计算机上实例化。然而,一个或多个ASABAP的多个应用程序服务器......
  • SAP ABAP Netweaver 里的 ABAP 会话概念
    每个用户会话可以包含一到多个ABAP会话。每个ABAP会话都分配有自己的ABAP内存区域,其中可以存储数据簇。调用序列的程序共享对这些集群的访问权。可以按如下方式在......
  • 5. Elasticsearch环境
    5.1 环境-简介5.1.1 环境-简介单台Elasticsearch服务器提供服务,往往都有最大的负载能力,超过这个阈值,服务器性能就会大大降低甚至不可用,所以生产环境中,一般都是运行在......
  • Kubernetes(2)_概念和架构
    K8S概述和特性kubernetes,简称K8S,是一个开源的用于管理云平台多个主机上的容器化的应用.k8s是谷歌在2014年开源的容器化集群管理系统适用k8s进行容器化应用部署适......
  • ZYNQ7000系列 PS、PL、AXI 、启动流程基本概念篇
    FPGA系统性学习笔记连载_Day4XilinxZYNQ7000系列PS、PL、AXI、启动流程基本概念篇本系列为FPGA系统性学习学员学习笔记整理分享,如有学习或者购买开发板意向,可加交流群......
  • 《java练级之旅》第三天(数组的基本概念)
    ......
  • 7点 讲明白地图切片的概念与原理
      有人说:一个人从1岁活到80岁很平凡,但如果从80岁倒着活,那么一半以上的人都可能不凡。生活没有捷径,我们踩过的坑都成为了生活的经验,这些经验越早知道,你要走的弯路就会越少......
  • Elasticsearch启动后访问不了9200的解决方案
    windows系统下​​elasticsearch​​启动成功,访问不成功问题这里用的版本是 然后你去访问​​http://localhost:9200/​​ 访问不了 原因是是因为开启了 ​​ssl​​ ......
  • CEPH核心理论 相关导图(持续更新)
    围绕分布式存储(ceph)绘制的技能图谱可参考​​分布式存储ceph技能图谱​​相关的原始编辑文件可以从​​github-mindMapping​​下载如有缺失、不足之处欢迎指正CEPH架......
  • 掌握核心技术的程序员,会对行业市场带来什么影响?
    程序员群体有一种朴素的“工程师原教旨主义”的情怀,相信技术能创造无限的价值,应该将技术放在关注的首位,而往往忽视对管理、业务的理解和应用。在过去的数次互联网技术浪潮中......