本文主要介绍如何利用Prometheus官网提供的
mysqld_exporter进行多MySQL实例的监控指标采集
建议安装最新版的mysqld_exporter， 因为从’2022-09-01’ 之后才支持多实例功能的。具体的官网说明详见 Support for scraping multiple mysqld hosts (#651)[1]
ok，开始今天的教程~
1、下载安装 mysqld_exporter
# 参考 下载地址Release列表，选择适合的平台安装包
# 进入运维规范 软件安装目录
cd /opt/app
# 下载并解压
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.1/mysqld_exporter-0.15.1.linux-amd64.tar.gz
tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz
# 设置软连接
ln -s /opt/app/mysqld_exporter-0.15.1.linux-amd64 mysqld_exporter2、进行配置
配置之前创建Prometheus exporter 账号并赋权
CREATE USER 'prometheus'@'192.168.%' IDENTIFIED BY 'XXXXXXXX' WITH MAX_USER_CONNECTIONS 10;
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'prometheus'@'192.168.%';配置连接MySQL的配置文件
# vim ./.my.cnf
[client]
user = prometheus
password = XXXXXXXX其他的配置说明详见 https://github.com/prometheus/mysqld_exporter
为了方便管理，在每个MySQL实例初始化的时候，创建相同的账号 'prometheus'@'192.168.%' 和对应的密码， 这样在 mysql exporter中只用配置一个[client] 即可。
3、启动MySQL exporter并测试
注意可以通过 ./mysqld_exporter --help 查看以 --collect.xx 开头的参数，这个是该exporter支持的metrics
另外需要特殊说明几个参数
- • --config.my-cnf=".my.cnf" 配置exporter连接数据库时使用的认证信息（这里只要是配置用户和密码），默认是读取当前目录下的
.my.cnf，可以修改指定 - • --web.listen-address=:9104 exporter默认监听的端口，可以修改
启动 exporter 服务
nohup ./mysqld_exporter --config.my-cnf=./.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status &当然还可以配置systemd 方式来管理该exporter服务
# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=Prometheus MySQL exporter
[Service]
ExecStart=/opt/app/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/app/mysqld_exporter/.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status
Restart=on-failure
[Install]
WantedBy=multi-user.target然后执行配置开机自启动
# 开启自启动
systemctl enable mysqld_exporter
# 启动
systemctl start mysqld_exporter
# 查看状态
systemctl status mysqld_exporter4、测试验证
根据官网提示可以使用 /probe?target=foo:3306 的方式来验证
To use the multi-target functionality, send an http request to the endpoint /probe?target=foo:3306 where target is set to the DSN of the MySQL instance to scrape metrics from.本次环境测试地址 http://192.168.3.100:9104/probe?target=xxxx:3306 然后在浏览器中打开如下，看到exporter部署成功
prometheus-mysql-expoter-probe-test
5、注册MySQL实例信息到Consul
备注： 关于Consul大家知道是目前比较常用的注册中心系统，常见的用法有
a）比如Java服务启动的时候注册到Consul，其他比如网关服务就可以自动发现服务进行请求转发
b）Nginx做服务动态转发时，可以借助于Consul中的KV功能实现在发布服务时，动态下线对应的服务节点，等服务节点重启成功之后再动态上线。可以实现后端服务的无损上线
具体Consul的服务安装和API用法详见官网文档即可，后者关于我博客中的相关文章说明
这里直接给出具体的注册代码
#!/usr/bin/env bash
# encoding: utf-8
# 批量初始化注册到Consul
while read line
do
# echo $line
instance_id=$(echo $line|awk '{print $1}')
instance_name=$(echo $line|awk '{print $2}')
instance_address=$(echo $line|awk '{print $3}')
suffix=$(echo $instance_name|awk -F"_" '{print $NF}')
if [[ $suffix == 'slave' ]]
then
role="slave"
else
role="master"
fi
data="{
\"id\": \"rds-${instance_name}\",
\"name\": \"mysql\",
\"address\" : \"${instance_address}\",
\"port\": 3306,
\"tags\": [\"prod\", \"mysql_exporter\"],
\"meta\": {
\"env\": \"prod\",
\"role\": \"${role}\",
\"instance_id\": \"${instance_id}\",
\"instance_name\": \"${instance_name}\"
}
}"
# echo $data
curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' -d "$data"
done < /opt/scripts/db-register-into-consul/db-list.txt其中 db-list.txt 文件的内容格式如下
instance-id-xxx instance-name instance-address或者可以手动单个实例的注册
curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' \
-d '{
"id": "rds-xxx",
"name": "mysql",
"address": "rm-xxxxxxxx.mysql.rds.aliyuncs.com",
"port": 3306,
"tags": [
"prod",
"mysql_exporter"
],
"meta": {
"env": "prod",
"instance_id": "rm-xxxxxxxx.mysql.rds.aliyuncs.com:3306",
"role": "master",
"instance_name": "rds-xxx"
}
}'然后打开 Consul的 Web 控制台，在 Services 中搜索 mysql(这里定义的服务名称) 就可以看到有对应的实例注册到该服务下
6、配置Prometheus 自动发现多个MySQL实例
为了规范配置Prometheus的配置，建议按照如下把不同的Job配置到 scrape_configs 目录下单个文件存放管理
# cat scrape_configs/mysql_exporter.yml
scrape_configs:
- job_name: 'consul_discovery_mysql'
consul_sd_configs:
# Consul的服务地址(这里配置的内网域名)
- server: 'consul.xxx.local'
# 这里是获取Consul中的服务，如上知道我们是把所有的MySQL实例注册到了`mysql`服务下
services: ['mysql']
relabel_configs:
# 核心是获取 `__parm_target` 就是 上面第四步提到的probe抓取的target
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__meta_consul_service_id]
target_label: instarnce_name
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
# 注意这里: 该地址就是MySQL exporter服务的地址
replacement: 192.168.3.100:9104划重点
虽然在 mysql_exporter 的 config.file 对应的配置文件中可以配置多个 client 然后给配置不同的账号密码，且 prometheus也支持auth_module参数。
但是如果Prometheus配置auth_module参数时且每个job的账号密码不一样。那么就变成了手动配置多个Job的场景，那么基于Consul自动发现的多实例配置就失去了其意义。
所这里这里没有配置，且针对Prometheus监控猜忌，建议配置统一的账号密码就行
划重点
如果在进行relabel 配置的时候，不知道都有哪些原始的labels，可以后两种方案
1、就是Prometheus中先不进行relabel_configs的配置，然后配置生效之后打开 Prometheus Web控制台在 Status中找到 Targets ，然后鼠标放到对应job下endpoint 行 的Labels 列，就会有弹窗显示 Before relabeling 都有哪些
2、查看Prometheus官网介绍 Prometheus consul_sd_config relabel参数[2]
但是个人建议第一种方式，因为笔者刚开始参考第二种方式在meta中存放了定制的参数，但是获取不到。最终分析定位发现是因为笔者的Consul版本太低，很多consul_sd_config参数不支持导致。
但是第一种方式，显示出来的参数就是当前版本支持的可用的参数。
当然具体使用自己更具自己的实际情况来判断就行。
7、验证Prometheus多实例采集
这里给实际的结果截图
prometheus-consul-mysql-targets
看到笔者这里已经采集到了36个实例数据，点击Endpoint就看到需要的结果，和上面第四步测试验证一致。
8、配置Grafana
配置Grafana 就相对很简单了。这里就不展开详细说明了。
大概的步骤就是
1）在grafana中添加该Prometheus数据源
2）然后新创建dashboard 在官网搜到需要的模板之后，按照模板id导致即可
引用链接
[1] Support for scraping multiple mysqld hosts (#651): https://github.com/prometheus/mysqld_exporter/commit/593b0095a5bd0bd852029dd2dfa5f204a15de946[2] Prometheus consul_sd_config relabel参数: https://prometheus.io/docs/prometheus/latest/configuration/configuration/#consul_sd_config