首页 > 其他分享 >Grafana+Loki+Promtail 日志监控

Grafana+Loki+Promtail 日志监控

时间:2024-07-14 17:19:33浏览次数:16  
标签:promtail level Grafana Loki loki msg Promtail grafana

Grafana+Loki+Promtail 日志监控

原创 Jruing 佛系内卷写代码 2024年07月06日 17:30 北京 2人听过
  • 前置工作

  • 用户组(按需创建)

  • Grafana

  • Loki

  • Loki 配置文件

  • Promtail

  • 配置文件

  • 配置数据源

  • 创建仪表盘

  • 添加查询项

 

前置工作

  1. Centos 7
  2. 关闭防火墙 (systemctl stop firewalld)
  3. 独立的用户组(可以不创建)

用户组(按需创建)

# 创建用户组groupadd grafana# 新建一个家目录为`/home/grafana`,用户组为`grafana`,用户名为`grafana`的用户useradd -d /home/grafana -g grafana grafana# 切换用户su - grafana# 创建软件目录及按安装包目录mkdir -p softwaremkdir -p packages

Grafana

# 切换目录cd packages# 下载grafanawget https://dl.grafana.com/enterprise/release/grafana-enterprise-11.1.0.linux-amd64.tar.gz# 解压tar -zxf grafana-enterprise-11.1.0.linux-amd64.tar.gz# 移动目录mv grafana-v11.1.0 ../software# 切换目录cd ../software/grafana-v11.1.0# 启动服务(访问地址: http://ip:3000,默认用户名及密码:admin/admin),若出现无法访问,请检查防火墙状态是否为关闭的状态./bin/grafana server

Loki

# 下载地址:https://github.com/grafana/loki/releases,请根据当前系统版本下载相应的文件,并将下载的文件放到packages目录中# 解压并移动目录unzip loki-linux-amd64.zip -d ../software/loki# 创建loki配置文件touch ../software/loki/loki.yaml# 启动loki服务(-config.file 指定配置文件位置)./loki-linux-amd64 -config.file=loki.yaml

Loki 配置文件

auth_enabled: false
server: http_listen_port: 3100 # 服务http监听端口 grpc_listen_port: 9096 # 服务grpc监听端口
common: instance_addr: 127.0.0.1 path_prefix: /tmp/loki storage: filesystem: chunks_directory: /tmp/loki/chunks rules_directory: /tmp/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
query_range: results_cache: cache: embedded_cache: enabled: true max_size_mb: 100
schema_config: configs: - from: 2020-10-24 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h
ruler: alertmanager_url: http://localhost:9093
# By default, Loki will send anonymous, but uniquely-identifiable usage and configuration# analytics to Grafana Labs. These statistics are sent to https://stats.grafana.org/## Statistics help us better understand how Loki is used, and they show us performance# levels for most users. This helps us prioritize features and documentation.# For more information on what's sent, look at# https://github.com/grafana/loki/blob/main/pkg/analytics/stats.go# Refer to the buildReport method to see what goes into a report.## If you would like to disable reporting, uncomment the following lines:#analytics:# reporting_enabled: false

Promtail

# 下载地址:https://github.com/grafana/loki/releases,请根据当前系统版本下载相应的文件,并将下载的文件放到packages目录中# 解压并移动目录unzip promtail-linux-amd64.zip -d ../software/promtail# 创建promtail配置文件touch ../software/promtail/promtail.yaml# 启动Promtail服务./promtail-linux-amd64 -config.file=promtail.yaml  -config.expand-env=true

配置文件

Promtail.yaml ,详细配置参考官方文档:https://grafana.com/docs/loki/latest/send-data/promtail/configuration/

server:  http_listen_port: 9080  grpc_listen_port: 0
positions: filename: /home/grafana/software/promtail/pos/positions.yaml sync_period: 10
clients: - url: http://192.168.200.128:3100/loki/api/v1/push # 这里需要修改为loki服务的ip地址
scrape_configs: - job_name: test_1 # 任务名称(可以通过job_name字段区分项目) static_configs: - targets: - localhost labels: # 可以自定义标签,比如主机ip,项目名称,项目环境等等 ip: 192.168.200.128 name: test_1 env: test __path__: /home/grafana/logs/test_1.log # 日志路径 pipeline_stages: - json: expressions: log_level: level msg: msg timestamp: ts uuid: uuid request_data: request_data
{"level":"info","ts":"2024-07-04T22:53:26+08:00","msg":"用户查询函数","uuid":"2613d4a4-719e-488e-80c5-a18076ed041f","request_data":"map[]"}{"level":"info","ts":"2024-07-04T22:53:26+08:00","msg":"用户查询成功","uuid":"2613d4a4-719e-488e-80c5-a18076ed041f"}{"level":"info","ts":"2024-07-04T22:57:28+08:00","msg":"用户查询函数","uuid":"7887f8bf-8c29-407c-8534-d16ac9e779de","request_data":"map[page:1 pageSize:10]"}{"level":"error","ts":"2024-07-04T22:57:28+08:00","msg":"用户查询失败","uuid":"7887f8bf-8c29-407c-8534-d16ac9e779de"}{"level":"info","ts":"2024-07-04T22:57:31+08:00","msg":"用户查询函数","uuid":"d2734fb9-26e5-4828-99b8-1eb68cfb05c4","request_data":"map[page:1 pageSize:1]"}{"level":"info","ts":"2024-07-04T22:57:31+08:00","msg":"用户查询成功","uuid":"d2734fb9-26e5-4828-99b8-1eb68cfb05c4"}

配置数据源

图片image-20240706143157243图片image-20240706143234638图片image-20240706143349698图片image-20240706143444296

创建仪表盘

图片图片image-20240706163329677图片image-20240706163539478图片image-20240706163658091

添加查询项

图片image-20240706170323759图片image-20240706170350247图片image-20240706170556009图片image-20240706170744977图片image-20240706170842834

 

Grafana1 个人观点,仅供参考 阅读 1800 ​   喜欢此内容的人还喜欢   Systemd 学习笔记     佛系内卷写代码   不看的原因   Prometheus监控升级战:让监控精细到每一根神经!     AIOps自动化运维   不看的原因   K8S 运维踩坑血泪史:那些痛与成长     WAKE UP技术   不看的原因 留言 7 写留言
  •   元夜   北京2天前 回复   怎么看tomcat的日志呢?     佛系内卷写代码   作者2天前 回复   1 我后面出一个解析tomcat日志的配置     元夜   北京昨天 回复   回复 佛系内卷写代码:等你了  
  •   ㅤ   广东7月6日 回复   1 Mark[社会社会]    
  •   J.崔小伙er   北京昨天 回复   Promtail运行不报错吗,依赖glibc-2.34以上版本    
  •   余生都是你   广东昨天 回复   日志量太大一直429怎么解决     ZCR_oo_LD   甘肃昨天 回复   换elk[旺柴]  
已无更多数据     佛系内卷写代码  
  •    
  •     [社会社会]    
  •    
  •       [旺柴]  
                     

人划线

 

标签:promtail,level,Grafana,Loki,loki,msg,Promtail,grafana
From: https://www.cnblogs.com/cheyunhua/p/18301781

相关文章

  • Grafana
    Grafana:Theopenobservabilityplatform|GrafanaLabsGrafanaistheopensourceanalytics&monitoringsolutionforeverydatabase.https://grafana.com/Grafana是一个开源的数据可视化和监控平台,广泛用于分析和展示来自各种数据源的时间序列数据。它支持多种数据......
  • Grafana9的dashboard权限问题
    grafana升级到9之后会有一个问题,在给用户分配组织Organizations权限的时候,这个用户是没有查看dashboard的权限的。只有当分配了edit和admin才能看到dashboard,但是这样权限就太大了。在9版本之后,把dashboard的权限细化了,不但需要在用户侧分配权限,还需要到每个dashboard去分配......
  • Grafana+Loki+Promtail 日志监控
    目录前置工作用户组(按需创建)GrafanaLokiLoki配置文件Promtail配置文件配置数据源创建仪表盘添加查询项前置工作Centos7关闭防火墙(systemctlstopfirewalld)独立的用户组(可以不创建)用户组(按需创建)#创建用户组groupaddgrafana#新建一个家目录为`/home/grafa......
  • 使用grafana loki dashboard排查系统间mq消息问题
    背景:几个系统间通过rocketmq的消息传递信息,用户反馈该功能存在一些数据不一致,应该是mq消息丢失或者系统在发消息时候报错,因此在代码中先打上日志并发布。日志由多个[tag]加详细信息组成,例子如:log.info("[MqAction][Proxy][ProxyMqReceive][ProxyNotificationCnsmRouteMqReceive]......
  • Centos7.9安装普罗米修斯+grafana
    一、基本概念​1、之间的关系​prometheus与grafana之间是相辅相成的关系。作为完美的分布式监控系统的Prometheus,就想布加迪威龙一样示例和动力强劲。在猛的车也少不了仪表盘来观察。于是优雅的可视化平台Grafana出现了。​简而言之Grafana作为可视化......
  • 经典病毒上线流量分析-Lokibot
    一、概述Lokibot于2015年面世,持续活跃至今,是一种高度危险且隐匿的恶意软件,旨在窃取受害主机的敏感信息,包括存储的密码、浏览器登录凭据以及加密货币钱包等,并将这些信息上送到远程C2服务器上。本文将重点针对Lokibot家族的上线包进行分析,让读者可以更深入了解经典病毒Lokibot的......
  • linux可视化监控:Grafana+Prometheus+node_exporter
    原理node_exporter:它的作用主要是收集性能测试的数据,如cpu、内存磁盘网络等信息,然后将数据保存到prometheus,相当于将数据存入到数据库中;想要监控不同的内容,就使用不同的exporter,比如mysqld_exporterPrometheus:虽然说是监控平台,但是实际上是一套数据库,用于做数据存储,不能做展......
  • 在 VS Code 上配置 Grafana 的本地开发环境
    为了在VSCode上顺利进行Grafana的本地开发,需要配置Node.js环境、安装Yarn和依赖、并确保开发工具能够正常工作。以下是配置和启动本地开发环境的详细步骤,包括使用yarndlx命令来确保VSCode正确配置。步骤1:安装并使用正确版本的Node.js首先,确保你使用的是Node.j......
  • Docker搭建FRP+OPENVPN+Prometheus+Grafana 实现内网穿透以及流量监控
    Docker搭建FRP+OPENVPN+Prometheus+Grafana实现内网穿透以及流量监控文章目录Docker搭建FRP+OPENVPN+Prometheus+Grafana实现内网穿透以及流量监控一、搭建Docker基础环境二、配置FRP,实现端口映射2.1使用Docker部署FRPFrps服务端(拥有公网IP)Frpc客户端(内网IP)三、搭建......
  • Prometheus+grafana部署
    分类出所需的监控项种类一般可分为︰业务级别监控/系统级别监控/网络监控/程序代码监控/日志监控/用户行为分析监控/其他种类监控大的分类还有更多的细小分类,这里给出几个例子,例如:业务监控可以包含用户访问QPS,DAU日活,访问状态,业务接口,产品转化率,充值额度,用户投诉等等这些很宏观......