grafana告警

为了建立完善的监控体系，需要对告警信息入库进行分类汇总。目前PaaS告警方式主要有prometheus和grafana，grafna的告警配置里无告警级别字段，为了对每个告警信息级别进行区分，1、可以在grafana每个告警配置中“Message”里写{"severity":"waring"}，接口通过获取grafana告警信息中'message': '{"severity":"waring"}'字段获取告警级别信息，并入库 2、可以配置告警时添加tags进行告警标记，接口通过获取grafana告警信息中'tags': {'level': 'waring'}字段获取告警级别信息，并入库 tag可以配合alertmanager，实现基于标签的告警处理。实现根据告警等级，告警组匹配规则，进行不同的处理 grafana告警信息示例 告警信息

{'dashboardId': 19, 'evalMatches': [{'value': 50.01444270196602, 'metric': '{group="test", instance="127.0.0.1:9100", job="agent_linux", module="test"}', 'tags': {'group': 'test', 'instance': '127.0.0.1:9100', 'job': 'agent_linux', 'module': 'test'}}], 'message': '{"severity":"waring"}', 'orgId': 1, 'panelId': 2, 'ruleId': 1, 'ruleName': '内存使用率 alert', 'ruleUrl': 'http://localhost:3000/d/JkDvYNp7z/test?tab=alert&viewPanel=2&orgId=1', 'state': 'alerting', 'tags': {}, 'title': '[Alerting] 内存使用率 alert'}


{'dashboardId': 19, 'evalMatches': [{'value': 49.97435888466107, 'metric': '{group="test", instance="127.0.0.1:9100", job="agent_linux", module="test"}', 'tags': {'group': 'test', 'instance': '127.0.0.1:9100', 'job': 'agent_linux', 'module': 'test'}}], 'message': '{"level":"waring"}', 'orgId': 1, 'panelId': 2, 'ruleId': 1, 'ruleName': '内存使用率 alert', 'ruleUrl': 'http://localhost:3000/d/JkDvYNp7z/test?tab=alert&viewPanel=2&orgId=1', 'state': 'alerting', 'tags': {'level': 'waring'}, 'title': '[Alerting] 内存使用率 alert'}

{'dashboardId': 19, 'evalMatches': [], 'message': '{"severity":"waring"}', 'orgId': 1, 'panelId': 2, 'ruleId': 1, 'ruleName': '内存使用率 alert', 'ruleUrl': 'http://localhost:3000/d/JkDvYNp7z/test?tab=alert&viewPanel=2&orgId=1', 'state': 'ok', 'tags': {}, 'title': '[OK] 内存使用率 alert'}


{'dashboardId': 19, 'evalMatches': [], 'message': '{"level":"waring"}', 'orgId': 1, 'panelId': 2, 'ruleId': 1, 'ruleName': '内存使用率 alert', 'ruleUrl': 'http://localhost:3000/d/JkDvYNp7z/test?tab=alert&viewPanel=2&orgId=1', 'state': 'ok', 'tags': {'level': 'waring'}, 'title': '[OK] 内存使用率 alert'}