首页 > 其他分享 >es 集群配置推荐

es 集群配置推荐

时间:2024-11-18 17:22:19浏览次数:1  
标签:存储 副本 配置 集群 分片 日志 节点 es

  • es集群配置
1、集群配置
es三个节点,每个节点的配置都是 8核cpu 64G内存 8T硬盘
每天的日志量100G,三个分片。
这样的配置可以保留90天的日志
集群有 3 个节点,每个节点 8TB 硬盘,整个集群的存储总容量为:8TB × 3 = 24TB 总存储空间

2、日志数据量
每天的日志量:100GB
每个索引的分片数:3 个主分片,每个分片处理的数据量大约是 33.33GB。
副本数:假设副本数为 1,即每个主分片有一个副本,因此需要将存储需求翻倍。

3、计算数据保留时间
总存储需求(副本含数据):每天 100GB 的日志数据,每天存储的数据量是:100GB × 2 = 200GB(包含副本)
集群可以存储的天数:
  集群总存储容量是 24TB(24,000GB)。
  每天需要 200GB 存储,因此可以存储的天数是:24,000GB ÷ 200GB = 120 天

4、总结
在 3 个节点,每个节点 8TB 硬盘 的情况下,如果每天的日志量为 100GB,且设置了 3 个主分片 和 副本数为 1,Elasticsearch 集群能够存储约 120 天 的日志数据。
实际只保留90天的数据,100(日志大小) * 2(主分片+副本分片) * 90(保留天数) / 240000(磁盘总大小) = 75%(磁盘利用率)

标签:存储,副本,配置,集群,分片,日志,节点,es
From: https://www.cnblogs.com/suyj/p/18553182

相关文章

  • 梯度提升树(Gradient Boosting Trees)详解
    ✅作者简介:2022年博客新星第八。热爱国学的Java后端开发者,修心和技术同步精进。......
  • 大数据时代--Hadoop的学习介绍,安装配置过程#全世界最细致万字教程(*拌面版
    前言:        让我们回到世界转变为数字时代之前的日子。那时,生成的数据量非常小,速度相对缓慢,几乎所有数据都是文件,行和列的形式,存储或处理这种数据并不麻烦,因为单个存储单元和处理器结合就可以完成这项工作,随着时间的流逝,互联网席卷了全球,每微秒都会产生大量以多种形......
  • python自动化之selenium 自动化unittest框架
    自动化框架一、介绍框架1、unittest框架是python中自带的框架2、作用:管理和组织测试用例当我们写的用例越来越多,我们就要考虑用例的编写的规范和组织,以便于后期的维护3、常见的自动化框架:po框架、pytest框架、unittest框架(我们讲解)4、unitest框架自带标准的库:有如下a、T......
  • Codeforces Round 988 (Div. 3) E题解析
    E题题目链接CodeforcesRound988(Div.3)题目描述题目的思路根据题目的意思,我们可以推断出算法时间复杂度应该在O(N)对于这道题而言,我们可以分析下思路首先我们先从1~n的范围里面询问答案如果出现0就跳过,因为无序操作如果出现非0答案temp就记录下1~i的01序列的个数如果......
  • Numercial result of IHDFP
    ......
  • Nacos 配置中心变更利器:自定义标签灰度
    作者:柳遵飞配置中心被广泛使用配置中心是Nacos的核心功能之一,接入配置中心,可以实现不重启线上应用的情况下动态改变程序的运行期行为,在整个软件生命周期中,可以极大降低了软件构建及部署的成本,提升效率,为业务发展提速。配置中心在各个领域都有着非常广泛的应用。上图列举了N......
  • Codeforces Round 988 (Div. 3) A~D
    CodeforcesRound988(Div.3)A.Twice这个题就是简单的贪心题,在相同大小的元素里面,我们只能选择两个来对评分更新,所以最多能更新(相同元素的个数)/2次,记录相同元素的个数就行了//Problem:A.Twice//Contest:Codeforces-CodeforcesRound988(Div.3)//URL:https......
  • VK36E4 ESSOP10触摸驱动IC/4个触摸按键/4路直接输出功能/具有高电源电压抑制比
    产品品牌:永嘉微电/VINKA产品型号:VK36E4封装形式:ESSOP10概述VK36E4具有4个触摸按键,可用来检测外部触摸按键上人手的触摸动作。该芯片具有较高的集成度,仅需极少的外部组件便可实现触摸按键的检测。提供了4路直接输出功能。芯片内部采用特殊的集成电路,具有高电源电压抑制比,可......
  • 谷歌地图 | Places Insights API 推出预览版:深入了解某个区域,帮助用户做出更明智的决
    谷歌地图推出PlacesInsightsAPI,现已推出预览版。这款新API可让开发者超越简单的位置详细信息,更深入地了解用户探索的地点。通过利用GoogleMapPlatform的地点数据,开发者可以揭示定义社区个性的独特特征,包括餐厅、公园、娱乐场所等。CloudAce-谷歌云|谷歌云全球战......
  • python 获取计算机电脑的配置信息
    获取电脑操作系统、CPU、内存、磁盘等信息。pipinstallplatformpipinstallpsutil通过使用platform库获取基本的操作系统和处理器信息,并使用psutil库检索更多详细的系统资源状态,如CPU频率、内存状态和磁盘使用情况。调用get_computer_config()自定义函数将返回一个包含全......