首页 > 其他分享 >【云原生】Grafana 介绍与实战操作

【云原生】Grafana 介绍与实战操作

时间：2022-12-18 20:11:41浏览次数：70  
标签：原生 实战 exporter node 数据源 grafana prometheus Grafana

目录

一、概述

grafana是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。

  • grafana最常用于因特网基础设施和应用分析，但在其他领域也有机会用到，比如：工业传感器、家庭自动化、过程控制等等。
  • grafana有热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch。
  • grafana 高版本也支持告警功能，支持各种告警通道：webhook，alertmanager、mail、钉钉等等。
  • 每一个数据源的查询语言和能力都是不一样的。你能够把来自多个数据源的数据组合到一个仪表板，但每个面板被绑定到一个特定的数据源,它就属于一个特定的组织。

一般是Prometheus与Grafana配套使用，有些公司直接使用Grafana告警，而弃用alertmanager。相关参考文档如下：

在这里插入图片描述

二、Grafana 安装

1）下载安装

下载地址：https://grafana.com/grafana/download?platform=linux

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.2-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.2-1.x86_64.rpm -y

2）安装包信息

  • 二进制文件： /usr/sbin/grafana-server
  • init.d 脚本： /etc/init.d/grafana-server
  • 环境变量文件： /etc/sysconfig/grafana-server
  • 配置文件： /etc/grafana/grafana.ini
  • 启动项： /usr/lib/systemd/system/grafana-server.service
  • 日志文件：/var/log/grafana/grafana.log
  • 默认配置的sqlite3数据库：/var/lib/grafana/grafana.db
  • grafana 默认插件的存放位置：/var/lib/grafana/plugins

3）启动服务

sudo systemctl daemon-reload
sudo systemctl start grafana-server
# Grafana 开机自启动
sudo systemctl enable grafana-server
sudo systemctl status grafana-server
# 默认端口 3000
netstat -nlpt|grep 3000

在这里插入图片描述

4）Grafana 访问

默认端口是3000，访问地址：http://IP:3000
默认账号/密码：admin/admin
在这里插入图片描述

三、Grafana 功能介绍

  • Data Source（数据源）：Grafana支持多种不同的时序数据库数据源，Grafana对每种数据源提供不同的查询方法，而且能很好的支持每种数据源的特性。
    官方地址：https://grafana.com/docs/grafana/latest/datasources/
    在这里插入图片描述
  • DashBoard：仪表盘，就像汽车仪表盘同样能够展现不少信息，包括车速，水箱温度等。Grafana的DashBoard就是以各类图形的方式来展现从Datasource拿到的数据。https://grafana.com/grafana/dashboards/
  • Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。
  • Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。
  • Query Editor：查询编辑器，用来指定获取哪一部分数据。相似于sql查询语句，好比你要在某个row里面展现test这张表的数据，那么Query Editor里面就能够写成select *from test。这只是一种比方，实际上每一个DataSource获取数据的方式都不同，因此写法也不同（https://grafana.com/docs/grafana/latest/datasources/），好比像zabbix，数据是以指定某个监控项的方式来获取的。
  • Organization：组织，org是一个很大的概念，每一个用户能够拥有多个org，grafana有一个默认的main org。用户登陆后能够在不一样的org之间切换，前提是该用户拥有多个org。不一样的org之间彻底不同，包括datasource，dashboard等都不同。建立一个org就至关于开了一个全新的视图，全部的datasource，dashboard等都要再从新开始建立。
  • User：用户，这个概念应该很简单，不用多说。Grafana里面用户有三种角色admin,editor,viewer。admin权限最高，能够执行任何操做，包括建立用户，新增Datasource，建立DashBoard。editor角色不能够建立用户，不能够新增Datasource，能够建立DashBoard。viewer角色仅能够查看DashBoard。在2.1版本及以后新增了一种角色read only editor（只读编辑模式），这种模式容许用户修改DashBoard，可是不容许保存。每一个user能够拥有多个organization。

四、使用mysql存储

1）安装mysql

mysql安装可以参考我下面这篇文章，这里就不再重复讲解了：MySQL高可用实战（ MHA）

2）修改grafana配置

1、创建grafana用户和grafana库

# 登录客户端
mysql -uroot -p
密码：123456

# 创建数据库
CREATE DATABASE IF NOT EXISTS grafana default charset utf8 COLLATE utf8_general_ci;

# 创建用户并授权
grant all  on grafana.* to 'grafana'@'192.168.182.%' identified by '123456';

2、修改grafana配置

配置文件： /etc/grafana/grafana.ini

[database]
type = mysql
host = 192.168.182.110:3306
name = grafana
user = grafana
password = 123456
# 也可以直接配置url
# url = mysql://grafana:[email protected]:3306/grafana

重启grafana

systemctl restart grafana-server

五、配置数据源（Data sources）

1）配置prometheus 数据源

前面我们已经部署了prometheus了，所以可以把prometheus数据源加进来。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2）配置mysql 数据源

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、配置监控面板（Dashboard）

地址：https://grafana.com/grafana/dashboards/

1）node_exporter 监控面板

1、安装node_exporter

下载地址：https://github.com/prometheus/node_exporter/releases/

【1】下载

wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz
tar -xzf node_exporter-1.5.0.linux-amd64.tar.gz

【2】配置node_exporter.service启动

# 默认端口9100
cat >/usr/lib/systemd/system/node_exporter.service<<EOF
[Unit]
Description=node_exporter
After=network.target
 #可以创建相应的用户和组 启动
#User=prometheus
#Group=prometheus

[Service]
ExecStart=/opt/prometheus/exporter/node_exporter/node_exporter-1.5.0.linux-amd64/node_exporter --web.listen-address=:9100
[Install]
WantedBy=multi-user.target
EOF

【3】启动服务

systemctl daemon-reload
systemctl start node_exporter
systemctl status node_exporter
systemctl enable node_exporter

【4】检查

curl http://localhost:9100/metrics

2、配置Prometheus加载node_exporter

添加或修改配置 prometheus.yml
在这里插入图片描述
重新加载

systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数： --web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus

3、配置监控面板

地址：https://grafana.com/grafana/dashboards/?search=node_exporter在这里插入图片描述
加载有两种方式：离线（json文件）和在线（通过ID远程下载json）
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
导入之后就可以看到数据了。
在这里插入图片描述

2）mysql_exporter 监控面板

下载地址：https://github.com/prometheus/mysqld_exporter

1、安装node_exporter

【1】下载

# 注意MySQL对应的版本
export VER=0.12.0
wget https://github.com/prometheus/mysqld_exporter/releases/download/v${VER}/mysqld_exporter-${VER}.linux-amd64.tar.gz
tar xvf mysqld_exporter-${VER}.linux-amd64.tar.gz
mv mysqld_exporter-${VER}.linux-amd64/mysqld_exporter /usr/local/bin/
chmod +x /usr/local/bin/mysqld_exporter

【2】配置数据库凭证
创建数据库凭证文件,为用户创建添加正确的用户名和密码并设置所有权限：

cat > /root/.my.cnf <<EOF
[client]
host=192.168.182.110
port=3306
user=mha
password=123456
EOF

【3】配置mysql_exporter.service启动

# 默认端口：9104
cat > /etc/systemd/system/mysqld_exporter.service <<EOF
[Unit]
Description=Prometheus MySQL Exporter
After=network.target
#User=prometheus
#Group=prometheus

[Service]
Type=simple
Restart=always
ExecStart=/usr/local/bin/mysqld_exporter \
--config.my-cnf /root/.my.cnf \
--collect.global_status \
--collect.info_schema.innodb_metrics \
--collect.auto_increment.columns \
--collect.info_schema.processlist \
--collect.binlog_size \
--collect.info_schema.tablestats \
--collect.global_variables \
--collect.info_schema.query_response_time \
--collect.info_schema.userstats \
--collect.info_schema.tables \
--collect.perf_schema.tablelocks \
--collect.perf_schema.file_events \
--collect.perf_schema.eventswaits \
--collect.perf_schema.indexiowaits \
--collect.perf_schema.tableiowaits \
--collect.slave_status \
--web.listen-address=0.0.0.0:9104

[Install]
WantedBy=multi-user.target
EOF

【4】启动服务

systemctl daemon-reload
systemctl start mysqld_exporter
systemctl status mysqld_exporter
systemctl enable mysqld_exporter
# 启动并开机自启，等价于上面两行
# systemctl enable --now mysqld_exporter

在这里插入图片描述

【5】检查

curl http://localhost:9104/metrics

在这里插入图片描述

2、配置Prometheus加载mysql_exporter

添加或修改配置 prometheus.yml
在这里插入图片描述
重新加载

systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数： --web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus

在这里插入图片描述

3、配置监控面板

地址：https://grafana.com/grafana/dashboards/7362-mysql-overview/
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3）Grafana Query语法

4）自定义监控面板

上面两个是网上提供的面板，其实在生产环境中，很多时候是需要自定义监控项的。

1、Prometheus数据源

【1】新建一个空面板

在这里插入图片描述
在这里插入图片描述

  • Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。
  • Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。
【2】编写PromQL表达式

选择Prometheus数据源并且选择Query 就可以直接写 PromQL。先在Prometheus上调试promql，在粘贴过来就行了。

# 内存使用率
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})

在这里插入图片描述
在这里插入图片描述
上面只显示一个机器的内存，显然还不完善，如果想显示多个，可以这样表达：

# 把instance="192.168.182.110:9100"去掉
100 - ((node_memory_MemAvailable_bytes{job="prometheus"} * 100) / node_memory_MemTotal_bytes{job="prometheus"})

# 或者复制几份
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.111:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.111:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.112:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.112:9100",job="prometheus"})
【3】变量使用

显然上面的方式不太好，这里使用变量的方式动态获取实例个数。先来了解Grafana的几个函数：

函数 作用
label_values(label) 返回Promthues所有监控指标中，标签名为label的所有可选值。
label_values(metric, label) 返回Promthues所有监控指标metric中，标签名为label的所有可选值。
metrics(metric) 返回所有指标名称满足metric定义正则表达式的指标名称
query_result(query) 返回prometheus查询语句的查询结果

参数解释：
1、instance

  • type：变量类型，变量类型有多种，其中Query表示这个变量是一个查询语句，type可以是Custom自定义，type也可以是Data source，Data source就表示该变量代表一个数据源，如果是datasource你可以用该变量修改整个DashBoard的数据源，变量类型还可以是时间间隔Interval等等。这里我们选择Query。
    2、General
  • Name：变量名，比如我这里取名为ip，到时候要使用这个变量名就用$ip来调用。
  • Label：是对应下拉框的名称，默认就是变量名，选择默认即可。
  • Description：描述。

2、Query options

  • Data source：数据源，不用多说。
  • Query：查询表达式，不同的数据源查询表达式都不同。
  • Regex：正则表达式，用来对抓取到的数据进行过滤，这里默认不过滤。
  • Sort：排序，对下拉框中的变量值做排序，排序的方式挺多的，默认是disable，表示查询结果是怎样下拉框就怎样显示。此处选disable。
  • Refresh: 何时去更新变量的值，变量的值是通过查询数据源获取到的，但是数据源本身也会发生变化，所以要时不时的去更新变量的值，这样数据源的改变才会在变量对应的下拉框中显示出来。Refresh有两个值可以选择。On Dashboard Load：在DashBoard加载时更新。On Time Range Change：在时间范围变化时更新。此处，选择On Dashboard Load，当数据源发生更新是，刷新一下当前DashBoard，变量的值也会跟着发生更新。

3、Selection Options

  • Multi-value：启用这个功能，变量的值就可以选择多个，具体表现在变量对应的下拉框中可以选多个值的组合。
  • Include All option：启用这个功能，变量下拉框中就多了一个all选项。
  • Custom all value：启用Include All option这个功能，才会出现Custom all value这个输入框，表示给all这个选项自定义一个值，all这个选项默认是所有值的组合，你也可以自定义。

【温馨提示】虽然选择组合值可以在一个panel里面查看多种监控数据，但是由于不同监控数据的数值大小格式都可能不一样，在一个图形里面格式很难兼容，这样就会出现问题，所以此处建议默认都不选。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

修改表达如下：

100 - ((node_memory_MemAvailable_bytes{instance="$instance",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="$instance",job="prometheus"})

在这里插入图片描述

2、MySQL数据源

在这里插入图片描述
可以直接写sql，直接以表格的形式展现，非常的方便的，像在大数据领域sql是使用最频繁的，所以使用这种直接sql的方式显示图表监控情况还是非常方便的。

到此，Grafana 介绍与实战操作就先到这里了，还有一个告警模块（Alerting）内容比较多，就放到下一篇文章讲解了，有任何疑问欢迎给我留言，后续会持续更新【云原生+大数据】相关的文章，请小伙伴耐心等待~

标签：原生,实战,exporter,node,数据源,grafana,prometheus,Grafana
From： https://www.cnblogs.com/liugp/p/16990848.html

相关文章

  • msprofiler 性能调优命令行实战（口罩识别推理）
    案例介绍本案例使用口罩识别推理程序作为例子进行演示，硬件平台是华为昇腾310设备(Ascend310)，该口罩识别使用目标检测中SSD模型，检测的结果有两个类别：戴口罩的脸、没带口罩的......
  • Nim 从入门到实战
    NimNim是一个与其1.0版本相似的新颖且令人兴奋的命令式编程语言。我使用Nim是为了它的性能与优雅，这无疑让我感到了莫大的乐趣。在这篇文章中我将向您展示一个我写的......
  • Kibana 入门实战(2)--简单使用
    文主要介绍 Kibana的使用，文中所使用到的软件版本：Elasticsearch8.5.1、Kibana8.5.1、Centos7.9。1、安装示例数据集Kibana自带有3个数据集，一个数据集描述了过去1......
  • Java核心实操：内存溢出 实战、内存泄漏实战
    文章很长，而且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录博客园版为您奉上珍贵的学习资源：免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面......
  • 漏洞实战部分2-安卓应用ZipEntry对象问题实战
    安卓应用漏洞学习本节课介绍ZipEntry对象，这个对象常用于解压压缩包操作。//ThisclassisusedtorepresentaZIPfileentry.//Author://DavidConnellypubliccla......
  • 漏洞实战部分-安卓应用层getLastPathSegment函数问题
    安卓应用漏洞学习case1本课程学习关键函数getLastPathSegment，该函数源码定义如下：/***Getsthedecodedlastsegmentinthepath.**@returnthedec......
  • 13 刘欣晨 第八章实例+实战
    实验 一 项目名称：    创建计算BMI指数的模块 deffun_bmi(person,height,weight):'''功能：根据身高体重计算BMI指数person：姓名height：身高，......
  • IOS+Appium+Python自动化全实战教程
    背景由于公司的产品坐落于不同的平台，如ios、mac、Android、windows、web。因此每次有新需求的时候，开发结束后，留给测试的时间也不多。此外，一些新的功能实现，偶尔会影响其他......
  • 第十六章《正则表达式》第5节：正则表达式实战应用
    正则表达式在实际开发过程中应用最多的场合就是验证数据格式的正确性，例如用户在一个网站注册时需要填写电子邮件地址、手机号码等信息，这些信息都有特定格式，使用正则表达式就......
  • 原生js实现rsa加密
    原生js实现rsa加密示例createNewUserKey().then(function(keyPairs){encrypt("thisisorigintext",keyPairs[0]).then(function(res){console.log('......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99