首页 > 其他分享 >Loki日志聚合分析系统-kubernetes

Loki日志聚合分析系统-kubernetes

时间:2023-03-28 17:25:31浏览次数:44  
标签:Promtail kubernetes 标签 Grafana Prometheus Loki 日志

Promtail 介绍

Loki 是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签,专门为 Prometheus 和 Kubernetes 用户做了相关优化。

与传统日志收集系统(例ELK)相比,Loki的优势有哪些?

  •  不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据,Loki操作起来会更简单,更省成本
  •  通过与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高
  •  特别适合存储 Kubernetes Pod 日志;诸如 Pod 标签之类的元数据会被自动删除和编入索引
  •  受 Grafana 原生支持,与 Prometheus 配合更加方便

解决痛点?

 无需再去其他界面,或者终端上查看单个Pod的日志

Loki的架构并不难,主要是以下三部分组成:

  •  Loki 为主服务器。负责存储日志和处理查询
  •  Promtail 是代理。负责收集日志并将其发送给Loki
  •  Grafana 用来UI展示。

Promtail 将本地日志内容传送到 Loki 实例。需要监控的应用程序的机器上都需要部署该组件。

它的主要工作流程可以划分为:

  • 使用 fsnotify 监听指定目录下(例如:/var/log/*.log)的文件创建与删除
  • 对每个活跃的日志文件起一个 goroutine 进行类似 tail -f 的读取,读取到的内容发送给 channel
  • 有一个单独的 goroutine 会读取 channel 中的日志行,分批并附加上标签后推送给 Loki

标签:Promtail,kubernetes,标签,Grafana,Prometheus,Loki,日志
From: https://www.cnblogs.com/edeny/p/17265950.html

相关文章

  • 第四部分:Spdlog日志库的核心组件分析-logger
    Spdlog是一个快速且可扩展的C++日志库,它支持多线程和异步日志记录。在本文中,我们将分析Spdlog日志库的核心代码,探究其实现原理和代码结构。Spdlog的基本架构上一篇文章介......
  • mysql binlog 几种日志格式的区别?
    在MySQL中,二进制日志(binlog)是用于记录数据库操作的一种日志文件,主要用于主从复制、恢复数据等操作。MySQL提供了三种不同的二进制日志格式,分别是Statement、Row和Mixed......
  • Kubernetes集群(五)——Cert-manager与Let'sencrypt证书自动管理
    1.Cert-manager安装1.1.安装自定义crd资源kubectlapply-fhttps://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml1.2.......
  • SLF4J和Logback日志框架详解
    SLF4J和Logback日志框架详解作者:chszs本文讲述SLF4J和Logback日志框架。  SLF4J是一套简单的日志外观模式的JavaAPI,帮助在项目部署时对接各种日志实现。LogBack在运行时......
  • Web日志分析
    IIS中间件日志日志文件位置:C:\\WINDOWS\\system32\\LogFiles日志文件的格式为:“ex+年份的末两位数Apache中间件日志Tomcat中间件日志Weblogic中间件日志Nginx中间件......
  • 注入了一个记录日志的接口,启动微服务工程的时候报错了:No qualifying bean of type 'co
    【问题描述】Causedby:org.springframework.beans.factory.BeanCreationException:Errorcreatingbeanwithname'monitorAreaServiceImpl':Injectionofresource......
  • JVM系统优化实践(12):GC日志分析
    您好,我是湘王,这是我的51CTO博客,欢迎您来,欢迎您再来~了解了基本的G1垃圾回收机制以后,就可以结合实际日志分析一下它的日志内容了,以后再遇到问题自己也能看懂。首先要说明一下......
  • 第一部分:介绍 Spdlog 日志库
    什么是Spdlog日志库Spdlog是一个C++的日志库,它具有高效、易用、跨平台等特点。它可以写入到控制台、文件等输出目标,支持多种日志级别、多线程安全等功能,非常适合在C......
  • ABP VNext 的日志机制 + SeriLog
    **ABPVNext的日志机制**正用ABPVNext做个系统,由于框架默认带来日志处理机制,开发阶段基本能用,也一直没有去动它,快要上线了,思考了一下正式环境的日志管理流程,由于系统不......
  • klog ,gin 记录日志到文件
    老遇到,记录一下 klog.LogToStderr(false) logFile,err:=os.Create("api.log") iferr!=nil{ fmt.Println(err) os.Exit(1) } klog.SetOutput(io.MultiWrite......