首页 > 系统相关 >Linux部署Prometheus+Alertmanager并配置企业微信告警

Linux部署Prometheus+Alertmanager并配置企业微信告警

时间：2023-05-09 20:11:56浏览次数：50  
标签：Alertmanager 微信 prometheus Prometheus alertmanager 告警 root localhost

一、Prometheus告警简介

告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。

Linux部署Prometheus+Alertmanager并配置企业微信告警

在Prometheus中一条告警规则主要由以下几部分组成：

告警名称：用户需要为告警规则命名，当然对于命名而言，需要能够直接表达出该告警的主要内容

告警规则：告警规则实际上主要由PromQL进行定义，其实际意义是当表达式（PromQL）查询结果持续多长时间（During）后出发告警

在Prometheus中，还可以通过Group（告警组）对一组相关的告警进行统一定义。当然这些定义都是通过YAML文件来统一管理的。

Alertmanager作为一个独立的组件，负责接收并处理来自Prometheus Server(也可以是其它的客户端程序)的告警信息。Alertmanager可以对这些告警信息进行进一步的处理，比如当接收到大量重复告警时能够消除重复的告警信息，同时对告警信息进行分组并且路由到正确的通知方，Prometheus内置了对邮件，Slack等多种通知方式的支持，同时还支持与Webhook的集成，以支持更多定制化的场景。

例如，目前Alertmanager还不支持钉钉，那用户完全可以通过Webhook与钉钉机器人进行集成，从而通过钉钉接收告警信息。同时AlertManager还提供了静默和告警抑制机制来对告警通知行为进行优化。

二、Alertmanager特性

告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。

Linux部署Prometheus+Alertmanager并配置企业微信告警

1、分组

分组机制可以将详细的告警信息合并成一个通知。在某些情况下，比如由于系统宕机导致大量的告警被同时触发，在这种情况下分组机制可以将这些被触发的告警合并为一个告警通知，避免一次性接受大量的告警通知，而无法对问题进行快速定位。

例如，当集群中有数百个正在运行的服务实例，并且为每一个实例设置了告警规则。假如此时发生了网络故障，可能导致大量的服务实例无法连接到数据库，结果就会有数百个告警被发送到Alertmanager。

而作为用户，可能只希望能够在一个通知中中就能查看哪些服务实例收到影响。这时可以按照服务所在集群或者告警名称对告警进行分组，而将这些告警内聚在一起成为一个通知。

告警分组，告警时间，以及告警的接受方式可以通过Alertmanager的配置文件进行配置。

2、抑制

抑制是指当某一告警发出后，可以停止重复发送由此告警引发的其它告警的机制。

例如，当集群不可访问时触发了一次告警，通过配置Alertmanager可以忽略与该集群有关的其它所有告警。这样可以避免接收到大量与实际问题无关的告警通知。

抑制机制同样通过Alertmanager的配置文件进行设置。

3、静默

静默提供了一个简单的机制可以快速根据标签对告警进行静默处理。如果接收到的告警符合静默的配置，Alertmanager则不会发送告警通知。

静默设置需要在Alertmanager的Werb页面上进行设置。

Prometheus本身不支持告警功能，主要通过插件alertmanage来实现告警。AlertManager用于接收Prometheus发送的告警并对于告警进行一系列的处理后发送给指定的用户。

Prometheus触发一条告警的过程：

prometheus--->触发阈值--->超出持续时间--->alertmanager--->分组|抑制|静默--->媒体类型--->邮件|钉钉|微信等。

Linux部署Prometheus+Alertmanager并配置企业微信告警

三、实现企业微信告警

1、创建企业微信应用

1）访问企业微信官网（https://work.weixin.qq.com/），注册企业微信账号(不需要企业认证)。

2）登录企业微信后台

操作步骤：应用管理 ---> 创建第三方应用，点击创建应用按钮 -> 填写应用信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

3）填写应用信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

# 部门ID：to_party需要发送的组

Linux部署Prometheus+Alertmanager并配置企业微信告警

2、安装Node_Exporter

1）下载安装包

[root@localhost dingtalk]# cd ~ && wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf node_exporter-1.5.0.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv node_exporter-1.5.0.linux-amd64 /usr/local/node_exporter

4）配置系统服务

[root@localhost ~]# vim /usr/lib/systemd/system/node_exporter.service

 
  1. [Unit]
  2. Description=node_exporter
  3. Documentation=https://prometheus.io/
  4. After=network.target
  6. [Service]
  7. Type=simple
  8. User=root
  9. ExecStart=/usr/local/node_exporter/node_exporter
  10. Restart=on-failure
  12. [Install]
  13. WantedBy=multi-user.target

5）启动Node_Exporter

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl enable node_exporter

[root@localhost ~]# systemctl start node_exporter

3、安装Prometheus

1）下载软件包

[root@localhost ~]# wget https://github.com/prometheus/prometheus/releases/download/v2.37.6/prometheus-2.37.6.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf prometheus-2.37.6.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv prometheus-2.37.6.linux-amd64 /usr/local/prometheus

4）配置Prometheus

[root@localhost ~]# vim /usr/local/prometheus/prometheus.yml

 
  1. global:
  2. alerting:
  3. alertmanagers:
  4. - static_configs:
  5. - targets:
  6. - '192.168.11.199:9093'
  7. rule_files:
  8. - 'rules/node.yml'
  9. scrape_configs:
  10. - job_name: "node-exporter"
  11. static_configs:
  12. - targets:
  13. - "192.168.11.199:9100"

5）配置告警规则

[root@localhost ~]# mkdir /usr/local/prometheus/rules

[root@localhost ~]# vim /usr/local/prometheus/rules/node.yml

 
  1. groups:
  2. - name: Node Resource Monitoring
  3. rules:
  4. - alert: Node实例已宕机
  5. expr: up{instance =~ ".*:9100"} == 0
  6. for: 30s
  7. labels:
  8. user: root
  9. severity: Emergency
  10. annotations:
  11. summary: "{{ $labels.instance }} 客户端已停止运行,请尽快处理!"
  12. description: "Node_Exporter客户端已停止运行,当前状态：{{ $value }} "

6）创建启动文件

[root@localhost ~]# vim /usr/lib/systemd/system/prometheus.service

 
  1. [Unit]
  2. Description=prometheus
  3. Documentation=https://prometheus.io/docs/introduction/overview
  4. Wants=network-online.target
  5. After=network.target
  7. [Service]
  8. Type=simple
  9. User=root
  10. ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --web.enable-lifecycle
  11. ExecReload=/bin/kill -HUP $MAINPID
  12. ExecStop=/bin/kill -s SIGTERM $MAINPID
  13. Restart=on-failure
  15. [Install]
  16. WantedBy=multi-user.target

7）启动Prometheus

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl start prometheus

[root@localhost ~]# systemctl enable prometheus.service

4、安装Alertmanager

1）下载Alertmanager

[root@localhost ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz

2）解压

[root@localhost ~]# tar xf alertmanager-0.25.0.linux-amd64.tar.gz

3）重命名

[root@localhost ~]# mv alertmanager-0.25.0.linux-amd64 /usr/local/alertmanager

4）创建启动文件

[root@localhost ~]# vim /usr/lib/systemd/system/alertmanager.service

 
  1. [Unit]
  2. Description=alertmanager
  3. Documentation=https://github.com/prometheus/alertmanager
  4. After=network.target
  6. [Service]
  7. Type=simple
  8. User=root
  9. ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml
  10. Restart=on-failure
  12. [Install]
  13. WantedBy=multi-user.target

5）配置alertmanager.yml文件

# Alertmanager安装目录下默认有alertmanager.yml配置文件，可以创建新的配置文件，在启动时指定即可。

[root@localhost ~]# vim /usr/local/alertmanager/alertmanager.yml

 
  1. global:
  2. # 每5分钟检查一次是否恢复
  3. resolve_timeout: 5m
  4. # 自定义通知模板
  5. templates:
  6. - '/usr/local/alertmanager/template/wechat.tmpl'
  7. # route用来设置报警的分发策略
  8. route:
  9. # 采用哪个标签来作为分组依据
  10. group_by: ['alertname']
  11. # 组告警等待时间。也就是告警产生后等待10s，如果有同组告警一起发出
  12. group_wait: 10s
  13. # 两组告警的间隔时间
  14. group_interval: 10s
  15. # 重复告警的间隔时间，减少相同邮件的发送频率
  16. repeat_interval: 1h
  17. # 设置默认接收人
  18. receiver: 'wechat'
  19. routes: # 可以指定哪些组接手哪些消息
  20. - receiver: 'wechat'
  21. continue: true
  22. group_wait: 10s
  23. receivers:
  24. - name: 'wechat'
  25. wechat_configs:
  26. - corp_id: 'xxx'
  27. to_party: 'xxx'
  28. agent_id: 'xxx'
  29. api_secret: 'xxx'
  30. send_resolved: true

参数说明：

corp_id: 企业微信账号唯一ID，可以在我的企业中查看。

to_party: 需要发送的组。

agent_id: 自建企业应用的AgentId，可以在企业应用里创建的自建应用详情页面查看。

api_secret: 自建企业应用的Secret，可以在企业应用里创建的自建应用详情页面查看。

6）配置告警模板

[root@localhost ~]# mkdir -p /usr/local/alertmanager/template

[root@localhost ~]# vim /usr/local/alertmanager/template/wechat.tmpl

 
  1. {{ define "wechat.default.message" }}
  2. {{- if gt (len .Alerts.Firing) 0 -}}
  3. {{- range $index, $alert := .Alerts -}}
  4. {{- if eq $index 0 }}
  5. 告警程序：Prometheus_Alertmanager
  6. 告警状态：{{ .Status }}
  7. 告警级别：{{ $alert.Labels.severity }}
  8. 告警类型：{{ $alert.Labels.alertname }}
  9. 故障主机：{{ $alert.Labels.instance }}
  10. 告警详情：{{ $alert.Annotations.description }}
  11. 触发时间：{{ (.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  12. {{- end }}
  13. {{- end }}
  14. {{- end }}
  16. {{- if gt (len .Alerts.Resolved) 0 -}}
  17. {{- range $index, $alert := .Alerts -}}
  18. {{- if eq $index 0 }}
  19. 告警程序：Prometheus_Alertmanager
  20. 告警状态：{{ .Status }}
  21. 告警级别：{{ $alert.Labels.severity }}
  22. 告警类型：{{ $alert.Labels.alertname }}
  23. 故障主机：{{ $alert.Labels.instance }}
  24. 告警详情：{{ $alert.Annotations.description }}
  25. 触发时间：{{ (.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  26. 恢复时间：{{ (.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
  27. {{- end }}
  28. {{- end }}
  29. {{- end }}
  30. {{- end }}

7）启动Alertmanager

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl start alertmanager

[root@localhost ~]# systemctl enable alertmanager

5、验证企业微信告警

# 浏览器访问Prometheus管理界面可以看到如下信息：

Linux部署Prometheus+Alertmanager并配置企业微信告警

1）模拟停止node_exporter服务，触发企业微信告警

[root@localhost ~]# systemctl stop node_exporter

2）再次查看Prometheus界面的Alerts可以看到告警状态。

绿色表示正常。

黄色状态为PENDING表示Alerts还没有发送至Alertmanager，因为rules里面配置了for: 30s。

30秒后状态由PENDING变为FIRING，此时Prometheus才将告警发给alertmanager，在Alertmanager中可以看到有一个alert。

Linux部署Prometheus+Alertmanager并配置企业微信告警

3）查看Alertmanager

Linux部署Prometheus+Alertmanager并配置企业微信告警

4）查看企业微信告警信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

5）启动node_exporter

[root@localhost ~]# systemctl start node_exporter

6）查看企业微信会收到恢复信息

Linux部署Prometheus+Alertmanager并配置企业微信告警

附：

CPU使用率告警规则：

 
  1. groups:
  2. - name: CPU
  3. rules:
  4. - alert: CPU使用率过高
  5. expr: (100 - (avg by (instance) (irate(node_cpu{mode="idle"}[5m])) * 100)) > 80
  6. for: 1m
  7. labels:
  8. severity: Warning
  9. annotations:
  10. summary: "{{ $labels.instance }} CPU使用率过高"
  11. description: "{{ $labels.instance }}: CPU使用率超过80%，当前使用率({{ $value }})."

内存使用率告警规则：

 
  1. groups:
  2. - name: Memory
  3. rules:
  4. - alert: 内存使用率过高
  5. expr: (node_memory_MemTotal - (node_memory_MemFree+node_memory_Buffers+node_memory_Cached )) / node_memory_MemTotal * 100 > 80
  6. for: 1m # 告警持续时间，超过这个时间才会发送给alertmanager
  7. labels:
  8. severity: Warning
  9. annotations:
  10. summary: "{{ $labels.instance }} 内存使用率过高"
  11. description: "{{ $labels.instance }}：内存使用率超过80%，当前使用率({{ $value }})."

 

标签：Alertmanager,微信,prometheus,Prometheus,alertmanager,告警,root,localhost
From： https://www.cnblogs.com/xgsh/p/17386122.html

相关文章

  • Linux部署Prometheus+Alertmanager并配置邮件告警
    一、Prometheus告警简介告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。在Prometheus中一条告警规则主要由以下几部分组......
  • uniapp微信小程序，上传图片和表单数据一起提交
    弄表单上传，请求一直400错误，然后寻找其它方法uni.uploadFile({url:'http://localhost:6109/api/My/warrantyCard',//上传服务器的URLfilePath:this.ImgUrl,//本地图片的路径或临时文件路径......
  • docker 部署 Prometheus
    1、部署node_exporter数据采集dockerrun-d--name=node-exporter\--restart=always\-p9100:9100\-v"/proc:/host/proc:ro"\-v"/sys:/host/sys:ro"\-v"/:/rootfs:ro"\prom/node-exporter访问：http:/......
  • 微信小程序 自定义组件 监听数据变化 出现异常 Maximum call stack size exceeded.
    代码调用处： 组件内部  本地调试无异常，发布之后出现此异常解决方法：监听属性steps的值变化时，调用处不能使用双向绑定，去掉steps的双向绑定即可，具体的原因未知（不知为啥本地调试不会抛异常） ......
  • 微信小程序中使用rpx像素单位设置高度---uniapp开发中
    在微信小程序中使用rpx可以解决屏幕宽度的兼容问题但是设置高度的时候还是会有问题为了解决宽度的兼容问题，在微信小程序中可以使用了rpx像素单位来进行设置，不管屏幕的宽度大小是多少，都认为宽度有750rpx这样即使屏幕大小不一样使用了rpx单位来设置的样式比例也是一样的。......
  • 微信小程序语音播报
    需求：需要用户一开始进入小程序的某个页面就进行语音播报；解决方案：使用微信小程序插件“微信同声传译”可以达到该功能；具体实现：1、微信公众平台=>设置=>第三方设置=>插件管理=>添加插件=>'微信同音传译'=>添加(目前暂不支持个人开发者使用)：2、引入小程序插件：2.1复制插件AppI......
  • Linux部署Prometheus+Alertmanager并配置钉钉告警
    一、Prometheus告警简介告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则），Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。在Prometheus中一条告警规则主要由以下几部分组......
  • 笔记本通过HDMI接口扩展显示器，微信/Outlook等界面模糊变清晰的解决办法
    1、笔记本扩展显示器，微信界面显示字体模糊如何解决？解决方案：第一步：鼠标右键打开微信快捷方式，选择‘属性’，找到‘兼容性’，选择‘更改高DPI设置’第二步：高DPI缩放替代：勾选✔‘替代高DPI缩放行为’第三步：点击“确定”。第四步：重新启动微信，微信界面的字体显示清晰了 2、问题......
  • HBuilderX启动微信开发者工具报错[error] Error: Fail to open IDE
    报错提示如下： 解决方法：1.使用自己的账号登录。2.在微信开发者平台上申请appid并更改项目中的appid。3.删除项目中微信小程序的appid，这样就能在HBuilderX中启动游客身份的微信开发者工具。  检查其他步骤是否正确：1.打开微信开发者工具，在安全选项里开启服务端口......
  • 微信公众号认证
    官网文档https://developers.weixin.qq.com/doc/offiaccount/Basic_Information/Access_Overview.htmlphp示例代码 publicfunctionindex(){$signature=$_GET["signature"]; $timestamp=$_GET["timestamp"]; $nonce=$_GET[&qu......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99