• 2024-09-20grafana Loki 日志采集
    lokiLoki是受Prometheus启发的水平可扩展,高度可用的多租户日志聚合系统。它的设计具有很高的成本效益,并且易于操作。它不索引日志的内容,而是为每个日志流设置一组标签。日志对比ELKstack和Graylog,ELK目前很多公司都在使用,是一种很不错的分布式日志解决方案,但是需要的组件多
  • 2024-09-20轻量级日志系统Loki搭建与使用
    参考https://blog.csdn.net/wzpny/article/details/139833234官方文档https://grafana.com/docs/loki/latest/Loki简介Loki是GrafanaLabs团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,
  • 2024-09-06Grafana进阶教程:使用Loki、Tempo进行日志与追踪可视化
    Grafana进阶教程:使用Loki、Tempo进行日志与追踪可视化在现代运维和开发环境中,日志和追踪是观测系统健康状态、分析问题和优化性能的重要手段。Grafana是一款广泛使用的开源数据可视化和监控平台,它支持与多种数据源的集成,能够提供灵活和强大的仪表板功能。Loki和Tempo
  • 2024-09-05Loki ERROR log告警
    实现loki采集error日志,出现error日志,告警。1.修改Loki配置文件在loki-local-config.yml中添加Alertmanager的配置,包括告警规则存储路径、Alertmanager的URL等。例如:ruler:enable_api:trueenable_alertmanager_v2:truealertmanager_refresh_interval:3m0salertmanager_
  • 2024-09-05Loki安装配置
    文档参考https://blog.51cto.com/u_16213620/7782631github官网地址https://github.com/grafana/loki?tab=readme-ov-file各种安装方式,我们选择locally方式https://grafana.com/docs/loki/latest/setup/install/选择安装的版本https://github.com/grafana/loki/releasesht
  • 2024-08-01Grafana Loki 架构详解,比 ES 成本低很多
    在本指南中,我们将详细了解GrafanaLoki架构及其组件。在公司的分布式环境中,存储和管理来自各种系统资源的日志是一项具有挑战性的任务。为了简化这项任务,引入了一个称为日志聚合的概念,它从各种系统资源中收集、存储、管理日志。有各种各样的日志聚合工具,其中一个工具是GrafanaL
  • 2024-07-24docker-compose安装loki
    在Linux上使用Docker安装Loki和Grafana,完成日志采集和分析的步骤如下:步骤1:安装Docker确保你已经安装并配置好Docker。如果还没有,请参考前面的安装步骤。步骤2:安装DockerCompose为了简化Loki和Grafana的安装和配置,建议使用DockerCompose。以下是在Ubuntu
  • 2024-07-20loki的日志查询
    执行简单查询获取特定标签相关的日志{container="..."}标签过滤器,用于获取指定容器的所有日志{container="..."}|=`status`带有行过滤器的标签过滤器,用于获取指定容器上含有“status”字串的日志行{container="..."}|json|status=`404`获取指定容器上的json格式的日
  • 2024-07-17Loki的部署模式
    Loki部署模式Loki程序基于微服务架构,由多个组件构成,不同部署模式下用户的组件亦有所不同“all”表示单体模式“individual”表示微服务模式“simplescalabledeployment”模式下则存在三个逻辑组“read”、“write”和“backend”系统架构写路径Distributor负责接
  • 2024-07-16Grafana Loki查询加速:如何在不添加资源的前提下提升查询速度
    GrafanaLoki查询加速:如何在不添加资源的前提下提升查询速度来自GrafanaLokiqueryacceleration:Howwespedupquerieswithoutaddingresources,介绍了Loki如何通过n-grams+布隆过滤器来加速查询。在过去的5年中,我们在平衡特性开发和支持大规模用户之时,改善了日志聚合
  • 2024-07-14Grafana+Loki+Promtail 日志监控
    Grafana+Loki+Promtail日志监控原创 Jruing 佛系内卷写代码 2024年07月06日17:30 北京 2人听过前置工作用户组(按需创建)GrafanaLokiLoki配置文件Promtail配置文件配置数据源创建仪表盘添加查询项 前置工作Centos7关闭防火
  • 2024-07-07Grafana+Loki+Promtail 日志监控
    目录前置工作用户组(按需创建)GrafanaLokiLoki配置文件Promtail配置文件配置数据源创建仪表盘添加查询项前置工作Centos7关闭防火墙(systemctlstopfirewalld)独立的用户组(可以不创建)用户组(按需创建)#创建用户组groupaddgrafana#新建一个家目录为`/home/grafa
  • 2024-07-01使用grafana loki dashboard排查系统间mq消息问题
    背景:几个系统间通过rocketmq的消息传递信息,用户反馈该功能存在一些数据不一致,应该是mq消息丢失或者系统在发消息时候报错,因此在代码中先打上日志并发布。日志由多个[tag]加详细信息组成,例子如:log.info("[MqAction][Proxy][ProxyMqReceive][ProxyNotificationCnsmRouteMqReceive]
  • 2024-04-12otlp采集数据的虚拟机环境配置
    采集+监控1.LBLB配置文件,nginx自带的ngx_http_stub_status_module提供的/nginx_status(可自定义命名)端点输出的是nginx自己的简单状态信息vimInforSuiteLB/conf/InforSuiteLB.conflocation/nginx_status{stub_statuson;#access_logoff;
  • 2024-04-11日志收集系统PLG(Promtail+Loki+Grafana)部署
    一、简介Loki是受Prometheus启发由GrafanaLabs团队开源的水平可扩展,高度可用的多租户日志聚合系统。开发语言:GoogleGo。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数
  • 2024-03-29loki-server config
    #创建存放loki数据的目录mkdir/data/loki/{chunks,index}-p#创建loki的部署目录mkdir/usr/local/loki#编辑config.yaml问价,内容如下auth_enabled:falseserver:http_listen_port:3100ingester:lifecycler:address:47.104.76.227ring:kvstore:s
  • 2024-02-22日志平台loki
    其他loki.yamlauth_enabled:falseserver:http_listen_port:3100ingester:lifecycler:address:127.0.0.1ring:kvstore:store:inmemoryreplication_factor:1final_sleep:0schunk_idle_period:5mchunk_retain_peri
  • 2024-01-24k8s - Promtail 重写日志标签名
    1.Promtail重写日志标签名默认Promtail会导出Pod中的一些元数据,可以通过访问Promtail的web界面,获取可以拿到的原始标签#获取promtailPod的PodIP地址kubectlgetpo-A-owide|greppromtail#输出#lokipromtail-s2c2x
  • 2024-01-09docker搭建Grafana+Loki+Promtail日志分析
    环境搭建Grafana搭建dockersearchgrafanadockerpullgrafana/grafanadockerrun-d-p3000:3000--namegrafanagrafana/grafanaLoki搭建创建宿主机目录mkdir-p/usr/local/glp/loki/indexmkdir-p/usr/local/glp/loki/chunkschmod-R777/usr/local/glp/loki/index
  • 2024-01-05day28 基于Loki的日志收集系统-基于Loki特性的场景变现及优化 (9.8-9.9)
    9.8-基于Loki的日志收集系统一、EFKvsLPG架构和组件Loki:Loki是一个开源的水平可扩展日志聚合系统,由Promtail、Loki和Grafana组成。EFK:EFK是一个集成的解决方案,由Elasticsearch、Fluentd和Kibana组成。存储和查询:Loki:Loki使用基于日志流的存储方式,将日志数据存储为可压
  • 2024-01-05如何使用loki查询日志中大于某一数字的值的日志
    简介loki是一款轻量级的日志收集中间件,比elk体系占用的内存更小,采用go语言开发,可以利用grafana来查询loki中存储的日志,loki存储日志只对提前预设的标签做索引,所以日志存储空间占用比elk小很多。方法loki只对提前预设的标签做索引,但如果我们想给标签之外的文本根据其值代表的数
  • 2023-12-25使用 OpenTelemetry 和 Loki 实现高效的应用日志采集和分析
    在之前的文章陆续介绍了如何在Kubernetes中使用Otel的自动插桩以及Otel与服务网格协同实现分布式跟踪,这两篇的文章都将目标聚焦在分布式跟踪中,而作为可观测性三大支柱之一的日志也是我们经常使用的系统观测手段,今天这篇文章就来体验下应用日志的操作闭环。背景OpenTele
  • 2023-12-25使用 OpenTelemetry 和 Loki 实现高效的应用日志采集和分析
    在之前的文章陆续介绍了如何在Kubernetes中使用Otel的自动插桩以及Otel与服务网格协同实现分布式跟踪,这两篇的文章都将目标聚焦在分布式跟踪中,而作为可观测性三大支柱之一的日志也是我们经常使用的系统观测手段,今天这篇文章就来体验下应用日志的操作闭环。背景OpenTel
  • 2023-12-10Grafana系列-Loki-基于日志实现告警
    系列文章Loki系列文章前言实际应用中除了基于Metrics告警,往往还有基于日志的告警需求,可以作为基于Metrics告警之外的一个补充.典型如基于NGINX日志的错误率告警.本文将介绍如何基于Loki实现基于日志的告警.本文我们基于以下2类实际场景进行实战演练:基于
  • 2023-11-30Nginx loki监控日志的学习
    Nginxloki监控日志的学习背景学习https://mp.weixin.qq.com/s/Qt1r7vzWvCcJpNDilWHuxQ增加了一些自己的理解第一部分nginx日志的完善在logformat的后面增加一个:log_formatjson_analyticsescape=json'{''"msec":"$msec",'#request