首页 > 其他分享 >ElasticSearch集群系统架构

ElasticSearch集群系统架构

时间:2022-12-01 17:32:06浏览次数:41  
标签:架构 Master 分片 ElasticSearch 数据 节点 集群

前言

全面几篇文章主要是使用单机跑ElasticSearch的,在生产环境为了保证高可用和高吞吐量我们都会采用集群的方式部署。那么本章不涉及ElasticSearch集群的搭建,只涉及理论部分!

集群架构

ElasticSearch集群系统架构_elasticsearch

上图中ElasticSearch集群中有多个节点,其中我们会从多个节点中选取一个Master,Master就是来管理整个ElasticSearch集群的,当我们只有一个节点时,那么我们的数据就都会放到那一个节点中去,如果我们增加新的节点,那么数据该往哪放,那么这就是由Master进行调度,所以整个集群是由Master进行管理的,包括索引的添加和删除等操作都是由Master进行控制的,但是存放的数据与Master无关,(当然也可以设置Master存放数据咯,只是一般不建议这么做,如果想在Master上存放数据配置node.data: true即可)数据是有Master找到具体的某个节点进行数据的操作,每个节点中;图中P0、P1、P2这些是我们的分片,一个完整的索引被切成几片分别存储在ElasticSearch集群的各个节点上的,图中R0、R1、R2对应的概念就是副本了,防止数据都是,做备份,注意图中分片对应的副本是不在同一个节点上的,这是防止分片和副本在同一个节点上这个节点挂了,那么分片也没了,备份也没了,这样会导致数据不安全,在节点中每个分片其实就是Lucene的索引,每一个Lucene都是一个全文检索引擎,那么我们访问任何一个都能检索数据,那么查询的时候ElasticSearch会将各个Lecture搜索引擎符合条件的数据进行聚合,然后统一返回,ElasticSearch集群查询相对新增、修改、删除要复杂一些。

标签:架构,Master,分片,ElasticSearch,数据,节点,集群
From: https://blog.51cto.com/u_15899048/5903417

相关文章

  • Windows搭建ElasticSearch集群
    前言在搭建ElasticSearch集群前,可以先看看往期文章Windows安装ElasticSearch,可以使用上篇文章中下载ElasticSearch搭建准备将下载好的ElasticSearch复制三分,node1为......
  • 集群常见的基本形式
    集群的目标高可用:,是当一台服务器停止服务后,对于业务及用户毫无影响。停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致......
  • WEB-RTC 基础概念和架构
    参考文章:WebRTC简介;从0搭建一个WebRTC,实现多房间多对多通话,并实现屏幕录制;架构:经典三层结构:Webapp层(应用层):Web开发者开发的程序,Web开发者可以基于集成Web......
  • 搜索引擎之Lucene,Solr,ElasticSearch比较
    目录1搜索引擎1.1简介1.2结构化数据和非结构化数据1.3使用全文搜索引擎条件2Lucene,Solr,ElasticSearch2.1Lucene2.2Solr2.3ElasticSearch2.4区别和选择2.4.1如何......
  • 多层架构的调用方式(方法回调)
    多层架构,一般我们指三层架构,如WEB层,SERVICE层和DATA,其实我是最简单的一种说法,真正的项目开发中,远远不只有这三层,其实在WEB与SERVICE层中还有一个WEB.SERVICE层,主要......
  • 05 定制 Rook 集群(转载)
    目录定制Rook集群placement调度概述清理重建rook集群删除资源对象删除rook源数据目录清理磁盘信息,登陆到每个节点上,将vgs和pv删除删除devicemapper映射,登陆到......
  • 04 Ceph 集群管理(转载)
    目录Ceph集群管理Ceph资源对象monitor、mgr和osd、csiprovisioner以Deployments的形式部署CSI的CephFS驱动和RBD驱动以DaemonSets的方式部署对外提供服务均......
  • 【电商】基于大数据的全球电商系统架构性能优化
    本文根据郭东白在2016ArchSummit全球架构师(深圳)峰会上的演讲整理而成。ArchSummit即将在2018年7月6日深圳华侨城洲际酒店开幕,更多分享内容请浏览:链接 讲师介绍:郭东白,现......
  • 郭东白的架构课00010
    你好,我是郭东白。今天我们来讲架构师的第四条生存法则,那就是尊重技术的生命周期。人类的各种活动都要遵循事物的客观生命周期。不论是农业社会种田打渔,还是资本社会投资创......
  • HDFS,MapReduce,Yarn 的架构思想和设计原理
        大家好,我是梦想家Alex。之前我也写了不少关于大数据技术组件的文章,例如:​​     前方高能|HDFS的架构,你吃透了吗?​​​​     MapReduce......