首页 > 其他分享 >etcd 监控项梳理

etcd 监控项梳理

时间：2022-12-30 00:45:03浏览次数：37

标签：etcd proposals server member Gauge 监控 total 梳理

指标	类型	说明
etcd_server_has_leader	Gauge	etcd member是否有Leader。 1：表示有主节点。 0：表示没有主节点。
etcd_server_is_leader	Gauge	etcd member是否是Leader。 1：表示是。 0：表示不是。
etcd_server_leader_changes_seen_total	Counter	etcd member过去一段时间切主次数。
etcd_mvcc_db_total_size_in_bytes	Gauge	etcd member db总大小。
etcd_mvcc_db_total_size_in_use_in_bytes	Gauge	etcd member db实际使用大小。
etcd_disk_backend_commit_duration_seconds_bucket	Histogram	etcd backend commit延时。 Bucket列表为：`[0.001 0.002 0.004 0.008 0.016 0.032 0.064 0.128 0.256 0.512 1.024 2.048 4.096 8.192]`。
etcd_debugging_mvcc_keys_total	Gauge	etcd keys总数。
etcd_server_proposals_committed_total	Gauge	raft proposals commit提交总数。
etcd_server_proposals_applied_total	Gauge	raft proposals apply总数。
etcd_server_proposals_pending	Gauge	raft proposals排队数量。
etcd_server_proposals_failed_total	Counter	raft proposals失败数量。

功能解析：

指标	类型	说明
etcd_server_has_leader	Gauge	etcd member是否有Leader。 1：表示有主节点。 0：表示没有主节点。
etcd_server_is_leader	Gauge	etcd member是否是Leader。 1：表示是。 0：表示不是。
etcd_server_leader_changes_seen_total	Counter	etcd member过去一段时间切主次数。
etcd_mvcc_db_total_size_in_bytes	Gauge	etcd member db总大小。
etcd_mvcc_db_total_size_in_use_in_bytes	Gauge	etcd member db实际使用大小。
etcd_disk_backend_commit_duration_seconds_bucket	Histogram	etcd backend commit延时。 Bucket列表为：`[0.001 0.002 0.004 0.008 0.016 0.032 0.064 0.128 0.256 0.512 1.024 2.048 4.096 8.192]`。
etcd_debugging_mvcc_keys_total	Gauge	etcd keys总数。
etcd_server_proposals_committed_total	Gauge	raft proposals commit提交总数。
etcd_server_proposals_applied_total	Gauge	raft proposals apply总数。
etcd_server_proposals_pending	Gauge	raft proposals排队数量。
etcd_server_proposals_failed_total	Counter	raft proposals失败数量。

常见异常指标

正常情况	异常情况	异常说明
3个etcd member都有Leader，且其中之一必须为Leader。即`sum(etcd_server_has_leader)=3`，且有一个`member etcd_server_is_leader == 1`。	单个Member异常	对应的`member etcd_server_has_leader!=1`，不影响整体etcd集群对外提供服务。
	大于1个Member异常	多个`member etcd_server_has_leader!=1`，Member异常大于1，此时etcd集群无法对外提供服务。同时观察是否存在Member的`etcd_server_is_leader == 1`，如没有，则etcd处于无主状态，无法对外提供服务。

backend commit时延


正常情况	异常情况	异常说明
该指标应该处于几十ms级别。	长时间出现几百ms甚至秒级别的延迟。	说明此时磁盘读写有异常。

raft proposal情况


正常情况	异常情况	异常说明
raft proposal failed速率为0。	raft proposal failed大于0。	表明Raft协议提交有失败，如遇到此值很大，则需进一步排查。
raft proposal pending总数为0。	raft proposal pending总数大于0。	表明Raft协议提交有积压，一般是Apply慢，可结合backend commit时延进行分析。
commit-apply差值为0。	commit - apply差值大于0。	表明此时etcd压力大，客户端请求过多。若此值大于5000，etcd则会拒绝接后续的请求，并返回`too many request`。直到将积压的Proposals处理完毕。

标签：etcd,proposals,server,member,Gauge,监控,total,梳理
From： https://www.cnblogs.com/slx-yyds/p/17013911.html

相关文章

监控flash_recovery_area的使用情况
监控flash_recovery_area的使用情况可以查询2个视图:1.V$FLASH_RECOVERY_AREA_USAGE:displaysusageinformationaboutflashbackrecoveryareas SQL > select......
生物——选必二概念梳理
妹想到吧这也能整理第一章种群及其动态往下看吧这还没整理咧（笑第二章群落及其演替1.群落的结构种群水平的研究重点：种群的数量动态，包括种群密度，出生率，死亡率，年龄......
Linux 常用监控指标总结
1.Linux运维基础采集项做运维，不怕出问题，怕的是出了问题，抓不到现场，两眼摸黑。所以，依靠强大的监控系统，收集尽可能多的指标，意义重大。但哪些指标才是有意义的呢，本着从实践中来......
prometheus-监控系统服务的运行状态
1.prometheus-监控系统服务的运行状态添加系统服务监控的命令/usr/local/node_exporter/node_exporter--web.config=/usr/local/node_exporter/config.yml--collect......
prometheus-监控docker服务器
1.prometheus-监控docker服务器prometheus-监控docker服务器cAdvisor（ContainerAdvisor）：用于收集正在运行的容器资源使用和性能信息。项目地址：https://github......
prometheus-如何监控服务
1.Prometheus-如何监控服务Prometheus-如何监控服务自己编写metrics接口，遵循数据模型使用社区维护的exporter进行维护如何监控服务如果要想监控，前提是能获取......
prometheus-添加监控linux服务器
1.prometheus-添加监控linux服务器prometheus添加监控linux服务器node_exporter：用于监控Linux系统的指标采集器。常用指标：CPU内存硬盘网络流量文件描述符系......
prometheus-添加被监控配置文件详解
1.prometheus-添加被监控配置文件详解目标（targets）：被监控端实例（Instances）：每个被监控端称为实例作业（Job）：具有相同目标的实例集合称为作业添加配置文件示例scrap......
CMake梳理依赖关系
梳理依赖关系的方法，通常是在cmake命令中追加参数graphviz，如cmake..--graphviz=../target_deps_graphviz，用来生成每个目标的依赖dot文件，再结合dot命令，如dot-Tpng-otar......
使用DataSecurity Plus监控Windows文件完整性
使用我们的文件完整性监控软件DataSecurityPlus，与精明的黑客，突发的恶意软件爆发以及挑战法规要求进行战斗。这种先进的工具还有助于生成可操作的报表，提供基于严重性的告警，......

赞助商

阅读排行