首页 > 其他分享 >你还用ES存请求日志?ClickHouse+Vector打造最强Grafana日志分析看板

你还用ES存请求日志?ClickHouse+Vector打造最强Grafana日志分析看板

时间:2024-11-02 14:58:30浏览次数:1  
标签:分析 请求 Grafana NGINX Vector 日志 ClickHouse

为什么要做NGINX日志分析看板

Grafana官网的dashboards有NGINX日志采集到ES数据源的展示看板,也有采集到LOKI数据源的展示看板,唯独没有采集到ClickHouse数据源的展示看板。所以这个轮子是必须要造的。

为什么不使用ES存储

ElasticSearch是全文检索引擎的文档数据库,对于业务日志、异常日志、多行日志这类,非结构化、半结构化的日志数据,经常需要做关键字查询,模糊匹配等操作,非常适合使用es,使用倒排索引实现快速全文搜索。

ClickHouse是一个列式存储数据库,尤其擅长处理结构化的大规模的SQL查询和聚合分析操作,所以针对NGINX这类结构化的请求日志,在处理多维分析、聚合查询、分组统计等操作速度极快,并且压缩比极高,存储成本比ES低10倍,CPU、内存的占用也有巨大优势。

NGINX日志采集架构

  • 基础架构

在这里插入图片描述

  • 完整架构

在这里插入图片描述

Grafana请求日志分析看板预览

该看板是基于 ClickHouse + Vector 的NGINX请求日志分析看板。包括请求与耗时分析、异常请求分析、用户分析、地理位置分布图、指定接口分析、请求日志明细。

尤其在异常请求分析方面,总结多年异常请求分析经验,从各个角度设计大量异常请求的分析图表。

  • 整体请求与耗时分析
    在这里插入图片描述

  • NGINX异常请求分析

在这里插入图片描述

  • 用户请求数据分析

在这里插入图片描述

  • 地理位置数据分析

在这里插入图片描述

  • 指定接口明细分析

在这里插入图片描述

  • 请求日志详情分析

在这里插入图片描述

导入NGINX请求日志分析的Grafana看板

Grafana看板ID:22037

下载地址:

https://grafana.com/grafana/dashboards/22037

注意:

  • 在Grafana中增加ClickHouse数据源时,注意点开Additional settings右边的箭头,配置Default database为存放日志的默认库,如上的:nginxlogs。
  • 如果你保存日志的表名不是access结尾的,项目菜单会没有数据,需要点击看板右上角的设置-变量-project,在下方的Regex项,输入你需要展示的日志表的正则,或者留空,展示默认库的所有表。

标签:分析,请求,Grafana,NGINX,Vector,日志,ClickHouse
From: https://www.cnblogs.com/starsliao/p/18521943

相关文章

  • c++:vector
    一、vector是什么?1.1vector的介绍vector是表示可变大小数组的序列容器。 就像数组一样,vector也采用的连续存储空间来存储元素。也就是意味着可以采用下标对vector的元素进行访问,和数组一样高效。但是又不像数组,它的大小是可以动态改变的,而且它的大小会被容器自动处理。本质......
  • 循环日志
     1调用链太长,传递循环当前次数要改很多方法,类似于事务的connction,这种不方便传递参数的东西就想到了threadlocal2 不想永久某线程到100就一直不让打了,想第二天的job清0,同时也不想用timer——threadlocal对象可析构——决定了要使用非staticthreadlocal对象——且threadlocal......
  • grafana图表功能-06-监控指标详解
    一. prometheus的4种监控指标Counters计数器Gauges仪表/测量Histograms直方图Summaries汇总二,指标详解2.1 Counters计数器,以cpu的监控指标 node_cpu_seconds_total为例,这个指标就是计数器类型的,node_cpu_seconds_total这个指标就是某一核cpu某一个......
  • 【无标题】Acwing1238_日志统计(双指针)
    原题链接 :1238.日志统计-AcWing题库https://www.acwing.com/problem/content/1240/题目要求:/***小明维护着一个程序员论坛。现在他收集了一份”点赞”日志,日志共有N行。*其中每一行的格式是:tsid表示在ts时刻编号id的帖子收到一个”赞”。*现在小明......
  • MySQL 死锁日志分析方法
    作者:京东物流张凯引言MySQL死锁是线上经常遇到的现象,但是死锁分析却并不总是件容易的事情,本文介绍MySQL死锁日志的分析方法,帮助研发从日志中快速提取有效信息,从而提高死锁原因分析的效率。 死锁介绍触发条件死锁的触发条件包括四个:•互斥•占有且等待•不可抢占用......
  • 性能测试|linux服务器搭建JMeter+Grafana+Influxdb监控可视化平台
    前言在当前激烈的市场竞争中,创新和效率成为企业发展的核心要素之一。在这种背景下,如何保证产品和服务的稳定性、可靠性以及高效性就显得尤为重要。而在软件开发过程中,性能测试是一项不可或缺的环节,它可以有效的评估一个系统、应用或者软件的性能指标。然而,如何提升性能测试效......
  • 在 .NET 8 中使用 Serilog:详细讲解与日志级别介绍
    Serilog是一个功能强大且灵活的日志记录库,特别适合在.NET8应用程序中使用。它支持结构化日志记录,便于日志的查询和分析。本文将详细介绍在.NET8中使用Serilog的方法,包括配置、日志级别的介绍和使用示例。一、什么是Serilog?Serilog是一个开源的结构化日志记录库,旨在简......
  • 织梦(DedeCMS)日志文件的位置及查看方法
    日志文件位置织梦(DedeCMS)的日志文件通常存储在网站根目录下的 data/log文件夹中。具体路径如下: /你的网站根目录/data/log/查看日志文件的方法通过FTP客户端查看使用FTP客户端(如FileZilla)登录到您的网站服务器。导航到 data/log 文件夹。在该文件夹中,您会看到......
  • elk日志收集
    elk日志收集elk+redis+filebeat收集多日志部署文档环境:Centos7.6两台elk--ip:103.39.232.249nginx--ip:103.39.232.248基础环境关闭防火墙setenforce0systemctlstopfirewalldsystemctldisablefirewalldsed-i's/enforcing/disabled/g'/etc/selinux/config设......
  • Mysql慢日志转Excel
    最近公司生产环境需要排查慢SQL,导出日志txt文件后排查混乱,查找相关资料后并没有找到方便快捷的格式化处理工具,于是自己编写了一套Java读取慢SQL日志转为Excel小工具。@DatapublicclassSlowQuery{privatedoublequeryTime;privatedoublelockTime;privateS......