• 2024-07-07Grafana+Loki+Promtail 日志监控
    目录前置工作用户组(按需创建)GrafanaLokiLoki配置文件Promtail配置文件配置数据源创建仪表盘添加查询项前置工作Centos7关闭防火墙(systemctlstopfirewalld)独立的用户组(可以不创建)用户组(按需创建)#创建用户组groupaddgrafana#新建一个家目录为`/home/grafa
  • 2024-07-01使用grafana loki dashboard排查系统间mq消息问题
    背景:几个系统间通过rocketmq的消息传递信息,用户反馈该功能存在一些数据不一致,应该是mq消息丢失或者系统在发消息时候报错,因此在代码中先打上日志并发布。日志由多个[tag]加详细信息组成,例子如:log.info("[MqAction][Proxy][ProxyMqReceive][ProxyNotificationCnsmRouteMqReceive]
  • 2024-04-12otlp采集数据的虚拟机环境配置
    采集+监控1.LBLB配置文件,nginx自带的ngx_http_stub_status_module提供的/nginx_status(可自定义命名)端点输出的是nginx自己的简单状态信息vimInforSuiteLB/conf/InforSuiteLB.conflocation/nginx_status{stub_statuson;#access_logoff;
  • 2024-04-11日志收集系统PLG(Promtail+Loki+Grafana)部署
    一、简介Loki是受Prometheus启发由GrafanaLabs团队开源的水平可扩展,高度可用的多租户日志聚合系统。开发语言:GoogleGo。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数
  • 2024-03-29loki-server config
    #创建存放loki数据的目录mkdir/data/loki/{chunks,index}-p#创建loki的部署目录mkdir/usr/local/loki#编辑config.yaml问价,内容如下auth_enabled:falseserver:http_listen_port:3100ingester:lifecycler:address:47.104.76.227ring:kvstore:s
  • 2024-02-22日志平台loki
    其他loki.yamlauth_enabled:falseserver:http_listen_port:3100ingester:lifecycler:address:127.0.0.1ring:kvstore:store:inmemoryreplication_factor:1final_sleep:0schunk_idle_period:5mchunk_retain_peri
  • 2024-01-24k8s - Promtail 重写日志标签名
    1.Promtail重写日志标签名默认Promtail会导出Pod中的一些元数据,可以通过访问Promtail的web界面,获取可以拿到的原始标签#获取promtailPod的PodIP地址kubectlgetpo-A-owide|greppromtail#输出#lokipromtail-s2c2x
  • 2024-01-09docker搭建Grafana+Loki+Promtail日志分析
    环境搭建Grafana搭建dockersearchgrafanadockerpullgrafana/grafanadockerrun-d-p3000:3000--namegrafanagrafana/grafanaLoki搭建创建宿主机目录mkdir-p/usr/local/glp/loki/indexmkdir-p/usr/local/glp/loki/chunkschmod-R777/usr/local/glp/loki/index
  • 2024-01-05day28 基于Loki的日志收集系统-基于Loki特性的场景变现及优化 (9.8-9.9)
    9.8-基于Loki的日志收集系统一、EFKvsLPG架构和组件Loki:Loki是一个开源的水平可扩展日志聚合系统,由Promtail、Loki和Grafana组成。EFK:EFK是一个集成的解决方案,由Elasticsearch、Fluentd和Kibana组成。存储和查询:Loki:Loki使用基于日志流的存储方式,将日志数据存储为可压
  • 2024-01-05如何使用loki查询日志中大于某一数字的值的日志
    简介loki是一款轻量级的日志收集中间件,比elk体系占用的内存更小,采用go语言开发,可以利用grafana来查询loki中存储的日志,loki存储日志只对提前预设的标签做索引,所以日志存储空间占用比elk小很多。方法loki只对提前预设的标签做索引,但如果我们想给标签之外的文本根据其值代表的数
  • 2023-12-25使用 OpenTelemetry 和 Loki 实现高效的应用日志采集和分析
    在之前的文章陆续介绍了如何在Kubernetes中使用Otel的自动插桩以及Otel与服务网格协同实现分布式跟踪,这两篇的文章都将目标聚焦在分布式跟踪中,而作为可观测性三大支柱之一的日志也是我们经常使用的系统观测手段,今天这篇文章就来体验下应用日志的操作闭环。背景OpenTele
  • 2023-12-25使用 OpenTelemetry 和 Loki 实现高效的应用日志采集和分析
    在之前的文章陆续介绍了如何在Kubernetes中使用Otel的自动插桩以及Otel与服务网格协同实现分布式跟踪,这两篇的文章都将目标聚焦在分布式跟踪中,而作为可观测性三大支柱之一的日志也是我们经常使用的系统观测手段,今天这篇文章就来体验下应用日志的操作闭环。背景OpenTel
  • 2023-12-10Grafana系列-Loki-基于日志实现告警
    系列文章Loki系列文章前言实际应用中除了基于Metrics告警,往往还有基于日志的告警需求,可以作为基于Metrics告警之外的一个补充.典型如基于NGINX日志的错误率告警.本文将介绍如何基于Loki实现基于日志的告警.本文我们基于以下2类实际场景进行实战演练:基于
  • 2023-11-30Nginx loki监控日志的学习
    Nginxloki监控日志的学习背景学习https://mp.weixin.qq.com/s/Qt1r7vzWvCcJpNDilWHuxQ增加了一些自己的理解第一部分nginx日志的完善在logformat的后面增加一个:log_formatjson_analyticsescape=json'{''"msec":"$msec",'#request
  • 2023-11-22Nginx loki监控日志的学习
    Nginxloki监控日志的学习背景学习自:https://mp.weixin.qq.com/s/Qt1r7vzWvCcJpNDilWHuxQ增加了一些自己的理解第一部分nginx日志的完善在logformat的后面增加一个:log_formatjson_analyticsescape=json'{''"msec":"$msec",'
  • 2023-11-14loki日志http请求过大的报错
    错误现象日志平台使用的是Loki+Promtail组合,这边有个服务日志量很大。当我使用Grafana请求这个pod的服务日志时,grafana显示timeout或504报错。故障排查(1)调整Grafana的超时设置具体设置可参考Grafana从Loki查询大量日志时超时问题,我也尝试通过调整grafna-->数据源-->L
  • 2023-11-09loki采集k8s日志
    前言loki是轻量、易用的日志聚合系统。如果你的k8s集群规模并不大,推荐使用grafana+loki的方案来做微服务日志的采集;Loki组成loki架构很简单,主要由3部分组成:loki:服务端,负责存储日志和处理查询;promtail:采集端,负责采集日志发送给loki;grafana:负责采集日志的展示;promtail.ymlkubectl
  • 2023-11-08docker日志收集docker插件+loki+grafna
    实现收集docker容器日志方式:dokcer安装插件,将日志发送到loki,grafna展示日志。1、安装lokiwgethttps://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yaml-Oloki-config.yamldockerrun--nameloki-d-v$(pwd):/mnt/config-p3100:3100
  • 2023-10-28这是我在51CTO博客的第一篇博文Loki 实现 Kubernetes1.24 容器日志监控
    使用Loki实现Kubernetes1.24容器日志监控一、基本介绍1.Loki架构2.Loki工作原理二、使用Loki实现容器日志监控1.安装Loki2.安装Promtail3.安装Grafana4.验证一、基本介绍Loki是由GrafanaLabs团队开发的,基于Go语言实现,是一个水平可扩展,高可用性,多租户的日志聚合系
  • 2023-10-18十四、kubernetes日志收集之Loki收集K8s日志
    3.使用Loki收集K8s日志3.1架构说明无论是ELK、EFK还是Filebeat,都需要用到Elasticsearch来存储数据,Elasticsearch本身就像“一座大山”,维护难度和资源使用都是偏高的。对于很多公司而言,特别是新创公司,可能并不想大费周章地去搭建一个ELK、EFK或者其他重量级的日志平台,刚开始的人力
  • 2023-10-13VictoriaLogs 要凭什么革了各家日志存储的命
    如果大家对时序指标的存储方案有些了解,那大概率会听过VictoriaMetrics,VictoriaMetrics号称Prometheus的升级版,在性能和成本方面也确实做得很好,如果是夜莺新用户,我都是推荐直接使用VictoriaMetrics来作为存储。前几天Victoria发布了VictoriaLogs,号称比ElasticSearch大幅
  • 2023-09-21Docker loki+promtail+grafana安装
    docker-compose.yamlversion:"3"networks:loki:services:loki:image:grafana/loki:2.9.0ports:-"3100:3100"command:-config.file=/etc/loki/local-config.yamlnetworks:-lokipromtail:imag
  • 2023-09-15docker部署 grafana Loki 轻量级日志
    这是一篇关于讲解如何正确使用51CTO博客-Markdown的排版示例,希望通过此,大家都能轻松上手,都能通过Markdown能够让自己的文章有更加出色、更清晰明了的排版。什么是MarkdownMarkdown(MD)是现在普遍使用的一种文档书写语言格式,只需用一些非常简单易记的符号,如(#*/>[]()\),
  • 2023-08-12Loki not alerting Alertmanager
    4Igotitworkingatlast.Belowismyrulerconfigruler:storage:type:locallocal:directory:/etc/loki/rulestoragerule_path:/etc/loki/rulesalertmanager_url:http://alertmanager:9093ring:kvstore:store:inmemo
  • 2023-07-27轻量级日志系统Loki--安装配置详细步骤讲解
    Loki对标EFK/ELK,由于其轻量的设计,备受欢迎,Loki相比EFK/ELK,它不对原始日志进行索引,只对日志的标签进行索引,而日志通过压缩进行存储,通常是文件系统存储,所以其操作成本更低,数量级效率更高由于Loki的存储都是基于文件系统的,所以它的日志搜索时基于内容即日志行中的文本,所以它的查询支