Prometheus relabel重新打标
对target重新打标是在数据抓取之前动态重写target标签的强大工具，在每个数据抓取配置中，可以定义多个relabel步骤，它们将按照定义的顺序依次执行。 对于发现的每个target，Prometheus默认会执行如下操作：- job的标签设定为其所属job_name的值；
- __address__标签的值为该target的套接字地址“:”
- instance标签的值为__address__的值
- __scheme__标签的值为抓取该target上指标时使用的协议(http或https)
- __metrics_path__标签的值为抓取该target指标时使用的URL路径，默认为/metrics
- __param_标签的值为传递的URL参数中第一个名称为的参数的值
relabel_config
relabel中几个重要的字段作用：# source_labels从指定标签中匹配值。并将值串联
# 使用配置的分隔符并与配置的正则表达式匹配
# 用于替换、保留和丢弃操作。
[ source_labels: '[' <labelname> [, ...] ']' ]
# 串联源标签值之间的分隔符，默认;
[ separator: <string> | default = ; ]
# 在替换操作中将结果值写入的标签。
# 对于替换操作，它是强制性的。Regex捕获组可用。
[ target_label: <labelname> ]
# 与提取值匹配的正则表达式。
# 当actions等于replace, keep, drop, labelmap,labeldrop and labelkeep时使用
[ regex: <regex> | default = (.*) ]
# 获取源标签值的哈希值的模数。
[ modulus: <int> ]
# 如果正则表达式匹配，则对其执行正则表达式替换的替换值。
[ replacement: <string> | default = $1 ]
# 基于正则表达式匹配要执行的操作。
[ action: <relabel_action> | default = replace ]<relabel_action>字段用于定义重新标记的行为，其可用取值有：
1. 替换标签值
- replace：首先将source_labels中指定的各标签的值进行串联，而后将regex字段中的正则表达式对源标签值进行匹配判定，若匹配，则将target_label字段中指定的标签的值替换为replacement字段中保存的值
-
- replacement可按需引用保存regex中的某个“分组模式”匹配到的值；默认保存整个regex匹配到的内容
-
- 进行值替换时，replacement字段中指定标签的值也支持以分组格式进行引用
- hashmod：将target_label的值设置为一个hash值，该hash则由modules字段指定的hash模块对source_labels上各标签的串联值进行hash计算
2. 删除指标：该处的每个指标名称对应一个target
- keep：regex不能匹配到target上的source_labels上的各标签的串联值时，则删除该target
- drop：regex能够匹配到target上的source_labels上的各标签的串联值时，则删除该target
3. 创建或删除标签
- labelmap：将regex对所有的标签名进行匹配判定，而后将匹配到的标签的值赋给replacement字段指定的标签名之上，通常用于取出匹配的标签名的一部分生成新标签
- labeldrop：将regex对所有的标签名进行匹配判定，能够匹配到的标签将从target的标签集中删除
- labelkeep：将regex对所有的标签名进行匹配判定，不能够匹配到的标签将从target的标签集中删除
relabel示例之replace
以我们上节基于consul自动发现的target来做示例，下图是服务发现后自动打上的标签：
我们这里做一个拼接，将__scheme__、__address__和__metrics_path__的值拼接成一个值并重新赋予给endpoint这个标签，如下：
- job_name: 'nodes'
consul_sd_configs:
- server: "monitor.example.com:8500"
tags:
- "nodes"
refresh_interval: 2m
scrape_interval: 15s
relabel_configs:
- source_labels:
- __scheme__
- __address__
- __metrics_path__
regex: (http|https)(.*)
separator: ""
target_label: endpoint
replacement: ${1}://${2}
action: replacecurl -XPOST monitor.example.com:9090/-/reload
如此配置之后，所有job_name=nodes的target都会执行此relabel操作。
relabel示例之labelmap
以我们上节基于consul自动发现的target来做示例，下图是服务发现后自动打上的标签，都以__meta__consul开头：
我们这里做一个类似重命名的操作，将__meta_consul_service开头的标签再次利用起来，将__meta_consul_service_这么一堆去掉，改为node_xxx这种类型：
- regex: (__meta_consul_service_)(.*)
replacement: node_${2}
action: labelmapcurl -XPOST monitor.example.com:9090/-/reload
已经达到预期，这个时候可以通过node_address等这些标签进行筛选target了。
relabel示例之labeldrop
以上两种方式实现了标签的拼接及重命名操作，但是还有很多标签是我们不想要的，我们也可以通过labeldrop来将它们删除，例如上边所有job开头的指标名称全部删除： - regex: ^job.*
action: labeldrop./promtool check config prometheus.yml
curl -XPOST monitor.example.com:9090/-/reload
relabel示例之keep
以上都是对target的标签进行了一系列操作，keep和drop是针对target本身的操作，例如，我想仅仅保持node_port标签值为9.+1的target，其他全部删除： - source_labels:
- node_port
regex: 9.+1
action: keep
以上实现最终prometheus.yml配置文件
scrape_configs:
- job_name: 'nodes'
consul_sd_configs:
- server: "monitor.example.com:8500"
tags:
- "nodes"
refresh_interval: 2m
scrape_interval: 15s
relabel_configs:
- source_labels:
- __scheme__
- __address__
- __metrics_path__
regex: (http|https)(.*)
separator: ""
target_label: endpoint
replacement: ${1}://${2}
action: replace
- regex: (__meta_consul_service_)(.*)
replacement: node_${2}
action: labelmap
- regex: job
action: labeldrop
- source_labels:
- node_port
regex: 9.+1
action: keepmetric_relabel_config
上边对target的标签进行relabel后，在获取指标的最后一步，还可以对metric进行重新打标，其作用在于：- 删除不必要的指标
- 从指标中删除敏感或不需要的标签
- 添加、编辑或者修改指标的标签值或者标签格式
- 更改或添加标签会创建新的时间序列，所以要明确使用各标签，尽可能保持不变，避免创建出一个动态的数据环境
- 标签是时间序列的唯一性约束，删除标签并导致时间序列重复时，可能会导致系统出现问题
metric relabel删除指标
例如删除go_info指标，通过__name__元标签引用指标名称，然后由regex进行匹配判定，可使用drop action删除匹配的指标。 注：__name__ 是一个特殊的标签名称，用于存储指标名称（也称为“指标类型”），例如go_info它就是一个指标名称。 下边示例，用于在响应的job_name之上，删除go_info指标： - job_name: 'nodes'
consul_sd_configs:
- server: "monitor.example.com:8500"
tags:
- "nodes"
refresh_interval: 2m
scrape_interval: 15s
metric_relabel_configs:
- source_labels: [__name__]
regex: go_info
action: dropcurl -XPOST monitor.example.com:9090/-/reload
删除后：
至此，Prometheus relabel相关功能演示完毕。