首页 > 其他分享 >ES介绍 《三》

ES介绍 《三》

时间:2022-10-07 15:46:51浏览次数:44  
标签:介绍 查询 索引 Elasticsearch 分片 集群 节点 ES

可扩展性和复原力:集群、节点和分片


Elasticsearch的建立是为了始终可用,并根据你的需求进行扩展。它是通过分布式的性质来实现的。你可以在集群中添加服务器(节点)来增加容量,Elasticsearch会自动将你的数据和查询负载分配到所有的可用节点上。不需要彻底改造你的应用程序,Elasticsearch知道如何平衡多节点集群以提供规模和高可用性。节点越多,越好。

这是怎么做到的?从表面上看,Elasticsearch索引实际上只是一个或多个物理分片的逻辑分组,每个分片实际上是一个独立的索引。通过将索引中的文档分布在多个分片上,并将这些分片分布在多个节点上,Elasticsearch可以确保冗余,这既可以防止硬件故障,又可以在集群中增加节点的查询能力。随着集群的增长(或缩减),Elasticsearch会自动迁移分片,以重新平衡集群。

有两种类型的分片:原始分片和复制分片。索引中的每个文档都属于一个主分片。复制分片是主分片的一个副本。复制提供了数据的冗余副本,以防止硬件故障,并增加了为搜索或检索文档等读取请求服务的能力。

索引中的主碎片的数量在创建索引的时候是固定的,但是复制碎片的数量可以在任何时候改变,而不会中断索引或查询操作。

这取决于...

关于分片大小和为索引配置的主分片数量,有一些性能上的考虑和权衡。分片越多,维护这些索引的开销就越大。分片大小越大,当Elasticsearch需要重新平衡集群时,移动分片的时间就越长。

查询大量的小分片会使每个分片的处理速度更快,但更多的查询意味着更多的开销,所以查询数量较少的大分片可能会更快。简而言之......这取决于。

作为一个起点。

目标是将平均分片大小保持在几GB到几十GB之间。对于基于时间的数据的用例,通常看到分片在20GB到40GB之间。
避免千亿分片的问题。一个节点可以容纳的分片数量与可用的堆空间成正比。作为一般规则,每GB堆空间的分片数量应少于20个。
为你的使用情况确定最佳配置的最好方法是通过用你自己的数据和查询进行测试。

在发生灾难的情况下

一个集群的节点需要相互之间有良好的、可靠的连接。为了提供更好的连接,你通常把节点放在同一个数据中心或附近的数据中心。然而,为了保持高可用性,你也需要避免任何单点故障。在一个地方发生重大故障的情况下,另一个地方的服务器需要能够接替。答案是什么?跨集群复制(CCR)。

CCR提供了一种方法,可以将索引从主集群自动同步到一个可以作为热备份的次要远程集群。如果主集群发生故障,次要集群可以接管。你也可以使用CCR来创建二级集群,以便为你的用户提供地理上接近的读取请求。

跨集群复制是主动-被动的。主集群上的索引是主动领导索引,处理所有的写请求。复制到二级集群的索引是只读的跟随者。

护理和喂养

与任何企业系统一样,你需要工具来保护、管理和监控你的Elasticsearch集群。集成在Elasticsearch中的安全、监控和管理功能使你能够使用Kibana作为控制中心来管理集群。数据滚动和索引生命周期管理等功能可以帮助你智能地管理你的数据。 使用www.DeepL.com/Translator翻译(免费版)

标签:介绍,查询,索引,Elasticsearch,分片,集群,节点,ES
From: https://www.cnblogs.com/ben-zhou/p/16759838.html

相关文章

  • ES介绍《二》
    信息输出:搜索和分析虽然你可以将Elasticsearch作为一个文档存储,并检索文档及其元数据,但真正的力量来自于能够轻松访问建立在ApacheLucene搜索引擎库上的全套搜索功能。E......
  • ES《 一》
    数据在:文档和索引Elasticsearch是一个分布式文档存储。Elasticsearch不是将信息存储为一列列的数据,而是将复杂的数据结构序列化为JSON文档。当你在一个集群中拥有多个Elast......
  • 三、OPNSense之CLI界面介绍
    可关注1、CLI界面说明WAN(em0)->v4/DHCP4:192.168.255.129/24  WAN:接口识别em0:物理网卡识别v4/DHCP4:192.xxxx:ipv4地址/DHCP获取IP(ipv4)IP地址   0)退出登......
  • ctfshow新手杯剪刀石头布(session反序列化)
    看到ini_set('session.serialize_handler','php');让我不由自主的想起了session反序列化漏洞的一道题。直接百度会有很多文章这里不多介绍。因此我们的解法就是:1.post一......
  • Kubernetes--LoadBalancer类型的Service资源和ExternalName Service
    LoadBalancer类型的Service资源NodePort类型的Service资源虽然能够于集群外部访问得到,但外部客户端必须得事先得知NodePort和集群中至少一个节点的IP地址,且选定的节点发......
  • Yolo系列要开播了!先从Bounding Boxes中能够学习什么开个头
    Wheredoesitcomefrom?TheThirdResearchInstituteoftheMinistryofPublicSecurity基于视频结构化描述的视频语义分析系统★可描述车辆颜色、车型、品牌等,车型类......
  • python+request+pymysql+pytest数据驱动
    一.pymysql简单使用1.安装mysql下载地址:https://www.mysql.com/,安装教程这里不做介绍了,网上一大推。2.安装pymysql库在Terminal终端输入:pipinstallpymysql3.pymysql......
  • kubernetes 网络组件cilium
    1.12配置Linux内核(cilium必选)cilium和其他的cni组件最大的不同在于其底层使用了ebpf技术,而该技术对于Linux的系统内核版本有较高的要求,完成的要求可以查看官网的详细链接,这......
  • 06 RustDesk搭建个人远程桌面中继服务器(centos)
    官方文档RustDesk官方文档<--建议仔细阅读整篇文档。安装配置一、服务器安装步骤运行hbbs、hbbr以下方法任选其一。PS.在运行hbbs和hbbr的时候添加-k_参数,禁止没有......
  • 摆脱鼠标系列 Trigger Suggest 快捷键 改成 Shift + Space
    摆脱鼠标系列TriggerSuggest快捷键改成Shift+Space看marp插件的时候,发现用ctrl+space自动提示,但是我这里是输入法......