prometheus服务发现

标签：发现 exporter 服务 service 标签 consul prometheus meta

基于文件的自动发现

JSON或者yaml的文件都可以,

[
  {
    "targets": [ "localhost:8080"],
    "labels": {
      "env": "localhost",
      "job": "cadvisor"
    }
  },
  {
    "targets": [ "localhost:9104" ],
    "labels": {
      "env": "prod",
      "job": "mysqld"
    }
  },
  {
    "targets": [ "localhost:9100"],
    "labels": {
      "env": "prod",
      "job": "node"
    }
  }
]

Prometheus配置文件/etc/prometheus/prometheus-file-sd.yml

global:
  scrape_interval: 15s
  scrape_timeout: 10s
  evaluation_interval: 15s
scrape_configs:
- job_name: 'file_ds'
  file_sd_configs:
  # Prometheus默认每5m重新读取一次文件内容，当需要修改时，可以通过refresh_interval进行设置，例如
  - refresh_interval: 1m
  - files:
    - targets.json

通过这种方式，Prometheus会自动的周期性读取文件中的内容。当文件中定义的内容发生变化时，不需要对Prometheus进行任何的重启操作。

基于Consul的自动发现

要使用的时候可以参考
https://www.prometheus.wang/sd/service-discovery-with-consul.html
这个腾讯云博客写的很好，可以参照做下
https://cloud.tencent.com/developer/article/1536967

启动consul 需要指定host使用这个命令

# -client这个参数来制定，解决不能通过127.0.0.1访问的问题，UI就可以通过这个ip来访问，
consul agent -dev -bind=192.168.39.102 -client=192.168.39.102

UI地址：
http://192.168.39.102:8500/ui/dc1/services

服务发现与Relabel(重新贴标签)

官方文档：
https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabel_config
这个腾讯云博客写的很好，可以参照做下
https://cloud.tencent.com/developer/article/1536967

relabel_action的作用

replace: 根据 regex 的配置匹配 source_labels 标签的值（注意：多个 source_label 的值会按照 separator 进行拼接），并且将匹配到的值写入到 target_label 当中，如果有多个匹配组，则可以使用 ${1}, ${2} 确定写入的内容。如果没匹配到任何内容则不对 target_label 进行重新，默认为 replace。
keep: 丢弃 source_labels 的值中没有匹配到 regex 正则表达式内容的 Target 实例
drop: 丢弃 source_labels 的值中匹配到 regex 正则表达式内容的 Target 实例
hashmod: 将 target_label 设置为关联的 source_label 的哈希模块
labelmap: 根据 regex 去匹配 Target 实例所有标签的名称（注意是名称），并且将捕获到的内容作为为新的标签名称，regex 匹配到标签的的值作为新标签的值
labeldrop: 对 Target 标签进行过滤，会移除匹配过滤条件的所有标签
labelkeep: 对 Target 标签进行过滤，会移除不匹配过滤条件的所有标签

具体用法需要结合实际来看，这次列举几个和 Consul自动发现需要用到的场景，

会发现 Prometheus 同时加载出来了默认服务 consul，这个是不需要的。
默认只显示 job 及 instance 两个标签，其他标签都默认属于 before relabeling 下，有些必要的服务信息，也想要在标签中展示，该如何操作呢？
如果需要自定义一些标签，例如 team、group、project 等关键分组信息，方便后边 alertmanager 进行告警规则匹配，该如何处理呢？
所有 Consul 中注册的 Service 都会默认加载到 Prometheus 下配置的 consul_prometheus 组，如果有多种类型的 exporter，如何在 Prometheus 中配置分配给指定类型的组，方便直观的区别它们？

通过relabel来解决上述问题

修改prometheus.yaml

...
- job_name: 'consul-prometheus'
  consul_sd_configs:
    - server: '172.30.12.167:8500'
      services: []  
  relabel_configs:
    - source_labels: [__meta_consul_tags]
      regex: .*test.*
      action: keep

解释下，这里的 relabel_configs 配置作用为丢弃源标签中 __meta_consul_tags 不包含 test 标签的服务，__meta_consul_tags 对应到 Consul 服务中的值为 "tags": ["test"]，默认 consul 服务是不带该标签的，从而实现过滤。重启 Prometheus 可以看到现在只获取了 node-exporter-172.30.12.167 这个服务了。

问题一和问题二合在一起解决
通过consul添加meta信息，参考官方文档
https://developer.hashicorp.com/consul/api-docs/agent/service

$ vim consul-0.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-172.30.12.167",
  "Tags": [
    "test"
  ],
  "Address": "172.30.12.167",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://172.30.12.167:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

$ curl --request PUT --data @consul-0.json http://172.30.12.167:8500/v1/agent/service/register?replace-existing-checks=1

通过web查看可以看到，meta信息可以看到

修改prometheus.yml

...
- job_name: 'consul-prometheus'
  consul_sd_configs:
    - server: '172.30.12.167:8500'
      services: []  
  relabel_configs:
    - source_labels: [__meta_consul_tags]
      regex: .*test.*
      action: keep
    - regex: __meta_consul_service_metadata_(.+)
      action: labelmap

解释一下，增加的配置作用为匹配 _meta_consul_service_metadata 开头的标签，将捕获到的内容作为新的标签名称，匹配到标签的的值作为新标签的值，而我们刚添加的三个自定义标签，系统会自动添加 __meta_consul_service_metadata_app=spring-boot、__meta_consul_service_metadata_team=appgroup、__meta_consul_service_metadata_project=bigdata 三个标签，经过 relabel 后，Prometheus 将会新增 app=spring-boot、team=appgroup、project=bigdata 三个标签。重启 Prometheus 服务，可以看到新增了对应了三个自定义标签。

上图可以看到，原生的标签只有instance和job两个，通过labelmap这个标签配置结合consol的meta信息后，可以添加新的标签并显式的看到

问题四
创建两个不同的exporter分组

$ vim consul-1.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-192.168.39.101",
  "Tags": [
    "node-exporter"
  ],
  "Address": "192.168.39.101",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://192.168.39.101:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

# 更新注册服务
$ curl --request PUT --data @consul-1.json http://192.168.39.102:8500/v1/agent/service/register?replace-existing-checks=1

$ vim consul-2.json
{
  "ID": "cadvisor-exporter",
  "Name": "cadvisor-exporter-192.168.39.101",
  "Tags": [
    "cadvisor-exporter"
  ],
  "Address": "192.168.39.101",
  "Port": 8080,
  "Meta": {
    "app": "docker",
    "team": "cloudgroup",
    "project": "docker-service"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://192.168.39.101:8080/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

# 注册服务
$ curl --request PUT --data @consul-2.json http://172.30.12.167:8500/v1/agent/service/register?replace-existing-checks=1

说明:我们更新了原 node-exporter-172.30.12.167 服务的标签为 node-exporter，同时注册一个新类型 cadvisor-exporter-172.30.12.167 服务，并设置标签为 cadvisor-exporter，以示区别。注册完毕，通过 Consul Web 控制台可以看到成功注册了这两个服务。

最后再次修改prometheus.yaml

...
  - job_name: 'consul-node-exporter'
    consul_sd_configs:
      - server: '172.30.12.167:8500'
        services: []  
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*node-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

  - job_name: 'consul-cadvisor-exproter'
    consul_sd_configs:
      - server: '172.30.12.167:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*cadvisor-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

配置后重启服务，可以看到已经通过标签分为两个组了

标签：发现,exporter,服务,service,标签,consul,prometheus,meta
From： https://www.cnblogs.com/jasmine456/p/17988780

基于文件的自动发现

基于Consul的自动发现

服务发现与Relabel(重新贴标签)

relabel_action的作用

修改prometheus.yml

相关文章

赞助商

阅读排行