搭建基于Grafana+JMeter+InfluxDB的性能监控与分析平台(Linux版)
在软件开发和运维领域,性能监控与分析是确保应用稳定性和用户体验的关键环节。随着应用规模的不断扩大和复杂度的增加,传统的性能测试工具和方法已难以满足需求。本文将详细介绍如何搭建一个基于Grafana、JMeter和InfluxDB的性能监控与分析平台,帮助团队更好地监控和分析应用的性能指标。
一、平台组件概述
1. JMeter
Apache JMeter是一款开源的负载测试工具,它可以模拟大量用户对网站或应用进行并发访问,从而评估其性能表现。JMeter支持多种协议和脚本语言,能够灵活配置测试场景,并生成详细的测试报告。
2. InfluxDB
InfluxDB是一个开源的时间序列数据库,专为处理高写入和查询负载而设计。它支持存储大量时间序列数据,并提供强大的查询和分析能力,非常适合用于存储和分析性能测试数据。
3. Grafana
Grafana是一个开源的监控和数据分析平台,支持多种数据源,并提供了丰富的图表和可视化选项。通过Grafana,我们可以轻松地将InfluxDB中的性能测试数据以图表形式展示出来,实现实时监控和数据分析。
二、平台搭建步骤
1. 安装并配置InfluxDB
InfluxDB 官网下载地址:https://www.influxdata.com/downloads/
Platform选择Linux,并根据官网的提示,进行下载安装InfluxDB,若在无网络的情况下可使用有网环境浏览器下载。
# 创建文件夹
mkdir /opt/performance
# 进入创建的文件夹
cd /opt/performance
# 下载 influxdb
wget https://dl.influxdata.com/influxdb/releases/influxdb2-2.7.9_linux_amd64.tar.gz
# 解压
tar xvfz influxdb2-2.7.9_linux_amd64.tar.gz
# 进入到启动脚本位置
cd influxdb2-2.7.9/usr/bin/
# 启动服务并自定义配置8999端口(注意等于号后面的冒号)
./influxd --http-bind-address=:8999 &
访问页面,成功显示
登录后,创建数据库(Bucket),并记录关键数据。
字段 | 说明 |
---|---|
User | 用户名(登录时的用户名) |
Password | 密码(登录时的密码,或初次登录时设置的密码) |
Organization | 组织(点击菜单栏的头像,再点击About查看) |
Token | 具有操作数据库权限的Token(现在Token我也不知道存哪里了,我是又重新创建了一个满权限的) |
Default Bucket | 数据库名称(jmeter运行结果存储的地方) |
-
查看组织
-
创建Token
-
查看数据库
2. 安装和配置Grafana
Grafana 官网下载地址:https://grafana.com/grafana/download
# 进入创建的文件夹
cd /opt/performance
# 下载 grafana
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-11.1.3.linux-amd64.tar.gz
# 解压
tar -zxvf grafana-enterprise-11.1.3.linux-amd64.tar.gz
# 进入文件夹
cd grafana-v11.1.3
# 修改配置文件,如下图修改启用端口为8990
vim conf/defaults.ini
# 启动服务
./bin/grafana-server &
访问页面,成功显示。用户名 & 密码 均为 admin
3. 创建仪表板和分析视图
I. 添加数据源
点击 Configuration -> Data sources 进入数据源界面,再点击 Add data source 进入新增数据源界面。
点击 InfluxDB,创建InfluxDB数据源。
根据下面的步骤,填写表单:
-
Name
- 名称自定义填写
-
Query Language
- 查询语言选择 【Flux】
-
HTTP: URL
- influxDB 地址根据自己的服务器填写
-
InfluxDB 信息
- 填写步骤1记录的关键数据(User、Password、Organization、Token、Default Bucket)
点击 Save & Test
,返回 √ ,说明配置成功
II. 创建仪表盘
点击 Dashboards -> Browse 进入仪表盘界面,再点击 New - > import 进入导入仪表盘界面。
仪表盘模板大全:https://grafana.com/grafana/dashboards/
可根据关键字查询想要的一些模板
点击详情可获取id或获取json文件,若配置环境无网络情况下选择json文件。
我这里输入仪表盘ID:13644(influxdb2查询语句),点击导入仪表盘。
选择刚刚配置好的数据源,点击 Import 导入仪表盘。
4. 配置JMeter以写入InfluxDB
Jmeter官方自带的 Backend Listener(后端监听器) 里面 influxdb 客户端没有适配新版的 grafana 的数据看板,所以我们这里自己去 github 上找个适配 influxdb2.0 的客户端jar包。
传送门:https://github.com/mderevyankoaqa/jmeter-influxdb2-listener-plugin/
我们把下载的jar包放到jmeter的扩展/lib/ext
文件夹下。
启动Jmeter,添加线程组,添加http请求,添加后端监听器,选择github下载的插件。
插件字段配置信息:
- testName:测试名称
- nodeName:服务器的名称
- runId:标识号
- influxDBHttpScheme:InfluxDB的协议
- influxDBHost:InfluxDB服务器的主机名或 ip
- influxDBPort:InfluxDB服务器的端口
- influxDBToken:InfluxDB的Token
- influxDBOrganization:InfluxDB的组织名称
- influxDBBucket:InfluxDB的数据库名
- influxDBFlushInterval:向 InfluxDB 发送数据的时间间隔
- influxDBMaxBatchSize:批次的最大大小
- influxDBThresholdError:停止导入前的错误阈值
- samplersList:整理JMeter采样器结果的正则表达式值
- useRegexForSamplerList:是否允许使用正则表达式
- recordSubSamples:是否允许保存 JMeter 子样本
- saveResponseBodyOfFailures:是否允许保存失败的响应正文
- responseBodyLength:响应正文不超过设置的指定长度
我们可以根据需要进行填写,只修改加粗部分即可。
执行JMeter脚本,查看仪表盘
三、平台应用与优势
- 应用场景
- 实时监控:通过Grafana的仪表板,可以实时监控应用的性能指标,及时发现潜在的性能问题。
- 历史数据分析:利用InfluxDB存储的历史数据,可以进行更深入的性能分析,找出性能瓶颈和趋势。
- 性能调优:基于监控和分析结果,对应用进行性能调优,提升用户体验。
- 优势
- 开源免费:JMeter、InfluxDB和Grafana都是开源软件,可以免费使用,降低了成本。
- 灵活可扩展:平台支持自定义测试脚本和查询语句,可以根据实际需求进行灵活配置和扩展。
- 可视化效果好:Grafana提供了丰富的图表和可视化选项,能够直观地展示性能测试数据。