首页 > 其他分享 >应用zabbix的实时导出(real-time export)功能

应用zabbix的实时导出(real-time export)功能

时间:2024-04-29 22:57:40浏览次数:23  
标签:real 文件 示例 导出 syncer zabbix export history

说明

zabbix作为监控软件,有时也会需要获取历史数据作进一步的分析,通常可以采用3种办法:

  1. 通过zabbix API定期获取(通过web)
  2. 通过后端数据库定期读取(通过db)
  3. 应用实时导出功能配合filebeat或其他工具获取(通过server)

对比以上三种方法:

  1. 实时性:毫无疑问,通过实时导出功能将数据发送出去是实时性最好的,周期性调用API或者读取数据库都存在一定的延时。
  2. 暴露面:通过API暴露数据是最合理的,因为web服务本身就是对外的;数据库一般情况下不应该对外暴露,甚至不需要公网地址;而server则需要分情况讨论,如果涉及外网proxy或者agent,则也需要有公网地址,而如果仅仅作内网的监控,则不需要具备公网地址。
  3. 安全性:通过实时导出主动发送数据是安全性最好的,因为不存在任何的入访机会;而使用API或者读取数据都必须要开放入访和提供密码或者token,需要通过做白名单、管控账号权限来保证安全性。

本文将介绍第三种方法,将历史数据导出为文件,以备其他工具处理。

配置

修改配置文件

如果zabbix部署方式为编译或者rpm,则修改zabbix_server.conf配置文件,注意3个字段的配置:

  1. ExportDir: 导出文件的目录,注意此目录一定要有写权限,会以history syncer进程的数量创建文件
  2. ExportFileSize: 限制导出文件的大小,默认是1G,如果文件超出,则以 .old 结尾重命名该文件,并创建一个和原名称相同的新文件
  3. ExportType: 导出数据的类型,包括events、history、trends,如果不设置,则默认为全部

示例如下:

ExportDir:/zabbix/history/
ExportFileSize:500M
ExportType:history,trends

配置完成后重启zabbix_server生效。

修改docker容器环境变量

如果zabbix部署方式为容器,则需要配置环境变量,相关的2个环境变量为:ZBX_EXPORTFILESIZEZBX_EXPORTTYPE,目录变量无法修改,因为固定位于容器内的/var/lib/zabbix/export/目录下
为对历史数据文件进行读取,需要做一个卷映射,将容器内的文件映射到宿主机上
示例如下:

……
-e ZBX_EXPORTFILESIZE="500M" -e ZBX_EXPORTTYPE="history" \
……
-v /zabbix/history:/var/lib/zabbix/export \

以此配置创建容器

数据文件处理

完成配置并启动后,会在设定的目录下(本例中为/zabbix/history/)生成名为history-history-syncer-*.ndjson(本例中只保存了history数据)的一批文件,数量对应history syncer进程,例如有10个进程,则会生成名为syncer-[1-10]的ndjson文件。
文件格式示例为:

{"host":{"host":"Host B","name":"Host B visible"},"groups":["Group X","Group Y","Group Z"],"item_tags":[{"tag":"Application","value":"system"}],"itemid":3,"name":"Agent availability","clock":1519304285,"ns":123456789,"value":1,"type":3}

可以通过filebeat之类工具进行数据的实时处理。

定时删除文件

如果监控项很多,数据的增长速度可能会比较快,本实验环境中监控项有17万,所有历史数据文件大小总和以7-10M/分钟的速度增长。如果硬盘空间没有预留足够,可能不出几天就会被写满。首先可以增加数据盘,以保留更久的数据,然而不管硬盘多大,时间久了总归还是会写满的,可以设置一个crontab的脚本,每隔一段时间去删除.old文件。
示例如下:

0 * * * * /bin/bash -c 'find /zabbix/history -type f -name "history-history-syncer-*.ndjson.old" -exec rm {} \;'

每小时进行一次检查,删除/zabbix/history目录下的history-history-syncer-*.ndjson.old文件。

标签:real,文件,示例,导出,syncer,zabbix,export,history
From: https://www.cnblogs.com/virtualzzf/p/18166776

相关文章

  • 以后台方式启动RealVNC
    以后台方式启动RealVNC运行C:\ProgramFiles\RealVNC\VNCServer\vnclicensewiz.exe离线注册。以Service模式启动(后台服务的方式)C:\ProgramFiles\RealVNC\VNCServer>vncserver.exe-service-start改变VNC鉴权方式:修改VNC密码:C:\ProgramFiles\RealVNC\VNCSer......
  • vue3项目打包的时候报错'openBlock' is not exported by node_modules/...
    用了一个手写签名的,开发环境中一切正常,但是在打包发布的时候,就报错了。'openBlock'isnotexportedbynode_modules/vue-esign/node_modules/vue/dist/vue.runtime.esm.js.... 这个应该是vue版本重复导致的。 解决:在vite.config.ts中加入 dedupe:['vue'],  dedupe是......
  • CF1842H Tenzing and Random Real Numbers 题解
    题目链接点击打开链接题目解法实数的概率好反直觉!对\(1\)做限制不是很好做,考虑变成正负性的限制(即对\(0\)做限制)令\(y_i=x_i-0.5\),那么限制就变成了\(y_i+y_j\le0,\;y_i+y_j\ge0\)这里要给出一些实数概率的结论:实数下,\(x=y\)的概率为\(0\),因为\(\frac{1}{\inft......
  • Debian/Linux安装 Realtek 8811cu无线网卡驱动
    1、下载必备安装包make、gcc(debian中可用build-essential包)、bc、linux-headers-$(uname-r)、dkmssudoaptinstallbuild-essentialbcsudoaptinstalllinux-headers-$(uname-r)dkms2、在github中下载8811cu的驱动(8811cu和8821cu用的同一个驱动),注意下驱动程序是否能......
  • zabbix监控安装文档
    Zabbix安装部署文档https://blog.csdn.net/m0_56055257/article/details/131260948以上文档可以直接复制内容部署,写的非常好用在本教程中,展示如何在CentOS8/RHEL8/OracleLinux8/AlmaLinux8/RockyLinux8上安装最新的Zabbix6.4 版本。1、基本配置1.0关闭防火墙......
  • export/import
    JavaScript模块的导出与导入:静态特性解析在这篇博客中,我们将探讨JavaScript中的export和import语句的使用,这些语句如何静态地处理代码,以及这种处理方式带来的优势。此外,我们也会探讨不同的函数声明方式,包括匿名函数和具名函数表达式的使用场景和它们的可见性区别。静态导......
  • react报错export ‘Switch‘ (imported as ‘Switch‘) was not found in ‘react-rou
    报如下错,查react-router-dom版本。 因为:react-router-dom从V5升级到V6造成的(1)将Switch重命名为Routes(2)Route的新特性变更,component/render被element替代(3) 嵌套路由变得更简单 ......
  • 3.Exporter概述
    一、Exporter概述    所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。而Exporter的一个实例称为target,如下所示,Prometheus通过轮询的方式定期从这些target中获取样本数据: 注:安装好Exporter后会暴露一个http://ip:端口/metrics的HTTP服务,通......
  • 性能测试——性能测试-linux监控工具-Centos7.x安装Node_exporter
    参考小菠萝博客笔记:https://www.cnblogs.com/poloyy/p/12375039.html 小菠萝是在一个服务器上面装的,我是2个服务器分别装的,下面需要新增一个命令:useraddprometheus    NODE_PATH='/data/prometheus/node_exporter/'cd/usr/local/src/mkdir-p${NODE_PATH}wget......
  • openGauss Prometheus-Exporter组件命令参考
    命令参考reprocessing-exporter的使用帮助详情:gs_dbmindcomponentreprocessing_exporter--helpusage:[-h][--disable-https][--ssl-keyfileSSL_KEYFILE][--ssl-certfileSSL_CERTFILE][--ssl-ca-fileSSL_CA_FILE][--web.listen-addressWEB.LISTEN_ADDRESS][--web......