说明：本文介绍如何使用prometheus、alertmanager监测MySQL主从，当从节点中断同步时，发送邮箱报警，并使用grafana将数据视图化。
结构图如下：
安装
（1）安装应用
首先，来安装prometheus、alertmanager和grafana，参考以下文章（都是我写的，嘿嘿）：
prometheus、alertmanager可以设置成用systemctl命令来管理，参考下面这篇文章：
安装完成后，可在浏览器上输入对应的IP:端口访问，如果是云服务器，需要开放相关端口。如下：
promethes地址：http://localhost:9090/
alertmanager地址：http://localhost:9093/
grafana地址：http://localhost:3000/
（2）部署扩展
实现prometheus监测MySQL主从，参与MySQL检测的服务器（主从节点）需安装以下扩展
-
mysql_exporter（下载地址：https://github.com/prometheus/mysqld_exporter/releases）
-
node_exporter（下载地址：https://github.com/prometheus/node_exporter/releases）
选择对应的版本下载，上传到服务器上
mysql_exporter
解压后，在mysql_exporter目录下，创建一个my.cnf文件，内容如下，为MySQL的账户；
[client]
user=admin
password=123456
在系统/etc/systemd/system路径下，新建一个文件（文件名：mysqld_exporter.service），内容如下
[Unit]
Description=mysqld_exporter
After=network.target
[Service]
User=root
Type=simple
ExecStart=mysqld_exporter地址 \
--config.my-cnf my.cnf地址 \
--collect.info_schema.processlist
Restart=on-failure
[Install]
WantedBy=multi-user.target
可使用下面命令，启动（start）、查看（status）、停止（stop）mysql_exporter扩展
systemctl start mysql_exporter
启动
node_exporter
解压后，在系统/etc/systemd/system路径下，新建一个文件（文件名：node_exporter.service），内容如下
[Unit]
Description=node_exporter
Documentation=https://prometheus.io/
After=network.target
[Service]
Type=simple
User=root
ExecStart=node_exporter路径
Restart=on-failure
[Install]
WantedBy=multi-user.target
同样的，配置完，也是使用下面的命令，来启动
systemctl start node_exporter
可使用systemctl status命令来检查对应扩展是否已启动；
systemctl status node_exporter
修改配置文件
以上应用、扩展都安装完之后，就需要搞定配置文件。包括MySQL报警指标配置，prometheus关联节点和alertmanager配置，以及alertmanager报警邮箱相关的配置。
（1）MySQL规则
这里说“规则”（rule），是因为prometheus使用rule_files配置项关联的，内容是规定MySQL指标异常的指标，如下：
（以下配置来自：https://blog.csdn.net/dragonQuncle/article/details/134262056）
groups:
- name: MySQL-rules
rules:
#mysql状态检测
- alert: MySQL Status
expr: mysql_up == 0
for: 10s
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} Mysql服务 !!!"
description: "{{ $labels.instance }} Mysql服务不可用 请检查!"
#mysql主从IO线程停止时触发告警
- alert: MySQL Slave IO Thread Status
expr: mysql_slave_status_slave_io_running == 0
for: 5s
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} Mysql从节点IO线程"
description: "Mysql主从IO线程故障，请检测!"
#mysql主从sql线程停止时触发告警
- alert: MySQL Slave SQL Thread Status
expr: mysql_slave_status_slave_sql_running == 0
for: 5s
labels:
severity: error
annotations:
summary: "{{$labels.instance}}: MySQL Slave SQL Thread has stop !!!"
description: "检测MySQL主从SQL线程运行状态"
#mysql主从延时状态告警
- alert: MySQL Slave Delay Status
expr: mysql_slave_status_sql_delay == 30
for: 5s
labels:
severity: warning
annotations:
summary: "{{$labels.instance}}: MySQL 主从延迟超过 30s !!!"
description: "检测MySQL主从延时状态"
#mysql连接数告警
- alert: Mysql_Too_Many_Connections
expr: rate(mysql_global_status_threads_connected[5m]) > 200
for: 2m
labels:
severity: warning
annotations:
summary: "{{$labels.instance}}: 连接数过多"
description: "{{$labels.instance}}: 连接数过多，请处理 ,(current value is: {{ $value }})！"
#mysql慢查询有点多告警
- alert: Mysql_Too_Many_slow_queries
expr: rate(mysql_global_status_slow_queries[5m]) > 3
for: 2m
labels:
severity: warning
annotations:
summary: "{{$labels.instance}}: 慢查询有点多，请检查处理！"
description: "{{$labels.instance}}: Mysql slow_queries is more than 3 per second ,(current value is: {{ $value }})"
可以在prometheus目录下创建一个文件，文件名为mysql.yml
（2）prometheus配置
前面分析，prometheus配置需要包含这三部分：引入MySQL规则文件、关联MySQL节点、关联alertmanager，内容如下：
# 全局配置
global:
scrape_interval: 15s
evaluation_interval: 15s
# 配置alertmanager
alerting:
alertmanagers:
- static_configs:
- targets:
- localhost:9093
# 引入规则配置
rule_files:
- "mysql.yml"
scrape_configs:
# prometheus
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]
# MySQL主从
- job_name: 'mysql-mater-slave'
scrape_interval: 5s
static_configs:
- targets: ['IP地址:9104','IP地址:9104']
# nodes
- job_name: 'nodes'
scrape_interval: 5s
static_configs:
- targets: ['IP地址:9100','IP地址:9100']
这里我alertmanager和prometheus是部署在同一台机器上，所以用localhost:9093，如果不是需填写对应的IP地址
（3）alertmanager配置
alertmanager配置文件里，包含当prometheus报警时的通知配置，我这里只配置邮箱，如下：
global:
#qq服务器
smtp_smarthost: 'smtp.qq.com:587'
#发邮件的邮箱
smtp_from: '[email protected]'
#发邮件的邮箱用户名，也就是你的邮箱
smtp_auth_username: '[email protected]'
#发邮件的邮箱授权码，非QQ登录密码
smtp_auth_password: 'pgsXXXXXXXXXjdh'
#进行tls验证
smtp_require_tls: false
route:
group_by: ['alertname']
# 当收到告警的时候，等待group_wait配置的时间，看是否还有告警，如果有就一起发出去
group_wait: 10s
# 如果上次告警信息发送成功，此时又来了一个新的告警数据，则需要等待group_interval配置的时间才可以发送出去
group_interval: 10s
# 如果上次告警信息发送成功，且问题没有解决，则等待 repeat_interval配置的时间再次发送告警数据
repeat_interval: 10s
# 全局报警组，这个参数是必选的
receiver: email
receivers:
- name: 'email'
#收邮件的邮箱
email_configs:
- to: '[email protected]'
相关配置，可参考下面这篇文章：
最后
修改完之后，重启prometheus、alertmanager，如果重启失败了，多半是配置格式的问题。以上配置都是经过我实际使用过的，可直接复制、修改，不要手敲。
Grafana设置
重启完之后，查看prometheus，应该可以看到对应的节点和MySQL规则，如下：
（节点状态，UP说明已关联）
（MySQL规则，绿色说明指标正常）
将prometheus中MySQL数据可视图话，需要先设置一个数据源，如下：
点击prometheus，设置prometheus服务器地址
保存并测试，如下，设置成功
设置完之后，导入一个数据面板，如下，输入：7371
导入后，可查看到从节点MySQL的数据。醒目的两个YES，说明了从节点IO进程、SQL进程正在运行中，以此说明从节点同步正常
报警
现在，在从节点中，登录MySQL，停止同步，分别查看prometheus、grafana情况，并留意邮箱是否有报警通知，如下：
（从节点，停止同步）
（prometheus报警规则触发）
（邮箱，玩命报警）
（grafana面板数据发生变化）
到这里，针对MySQL主从，一个可监测、可视图化、可报警的系统就搭建完成了。实际上，该系统还有很强的扩展性，在监测的应用，监测规则，视图化数据的面板，报警的途径（钉钉、企业微信、邮箱等等），报警规则（报警频率、回复后是否发消息通知）上，这里只介绍了冰山一角。
总结
本文介绍了使用prometheus监测MySQL主从同步状态方案，参考了以下文章/视频：
-
prometheus 构建MySQL主从监控：https://blog.csdn.net/weixin_48190863/article/details/120356769
-
Prometheus监控Mysql数据库+mysql告警规则：https://blog.csdn.net/dragonQuncle/article/details/134262056
-
搭建Prometheus监控，钉钉邮件告警：https://www.bilibili.com/video/BV1si421m792/