首页 > 其他分享 >docker-compose部署ELK

docker-compose部署ELK

时间:2024-05-03 13:23:57浏览次数:20  
标签:ELK compose elk mdc elasticsearch docker logstash 日志

参考地址:https://www.cnblogs.com/zys2019/p/14816634.html

1. 概述

笔者在学习docker的相关知识,本着talk is cheap show me the code 原则,实际操作下,正好上面的博主分享了文档,我照着做成功了,只是有些细节上面的问题,需要解决下

2. ELK架构

  1. Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。
  2. Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。
  3. Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

img

2.1. 部署ELK

创建docker-elk目录,在此目录创建文件和其他目录

mkdir /opt/docker_elk

创建logstash配置文件

mkdir /opt/docker_elk/logstash
touch  /opt/docker_elk/logstash/logstash.conf

配置logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

创建docker-compose.yml文件 , touch /opt/docker_elk/docker-compose.yml

version: '3.7'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      #设置集群名称为elasticsearch
      - cluster.name=elasticsearch 
      #以单一节点模式启动
      - discovery.type=single-node 
      #设置使用jvm内存大小
      - ES_JAVA_OPTS=-Xms512m -Xmx512m 
    volumes:
      - /opt/docker_elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /opt/docker_elk/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - elk-network

  logstash:
    image: logstash:7.6.2
    container_name: logstash
    ports:
       - 4560:4560
    privileged: true
    environment:
      - TZ=Asia/Shanghai
    volumes:
      #挂载logstash的配置文件
      - /opt/docker_elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    depends_on:
      - elasticsearch 
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 
    networks:
      - elk-network

  kibana:
    image: kibana:7.6.2
    container_name: kibana
    ports:
        - 5601:5601
    privileged: true
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 
    depends_on:
      - elasticsearch 
    environment:
      #设置访问elasticsearch的地址
      - elasticsearch.hosts=http://es:9200
    networks:
      - elk-network

networks:
  elk-network:
    driver: bridge

进入docker_elk目录 启动docker-compose

#启动
docker-compose up -d

#关闭
docker-compose down

#重启某个容器
docker-compose restart logstash

2.2. kibana

输入http://192.168.56.188:5601/,访问Kibana web界面。点击左侧设置,进入Management界面

img

点击index pattern,船舰logstash-*索引

img

2.3. log4j记录日志

要使用log4j2,则必须排除SpringBoot自带的日志。

  1. 排除logback并导入依赖
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter</artifactId>
    <exclusions>
        <!-- 引入log4j日志时需去掉默认的logback -->
        <exclusion>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-logging</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<!-- 日志管理log4j2 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-log4j2</artifactId>
    <version>2.1.0.RELEASE</version>
</dependency>
  1. 在资源目录下新建log4j2.xml
<?xml version="1.0" encoding="UTF-8"?>
<!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
<!--
    status="warn" Configuration后面日志框架本身的输出日志级别,可以不加入
    monitorInterval="5" 自动加载配置文件的间隔时间, 不低于 5 秒
    注: 我们的配置文件修改后在生产环境下无需重启应用, 可以实现热更新的效果
-->
<Configuration monitorInterval="5">

    <!--全局属性-->
    <Properties>
        <Property name="APP_NAME">coding</Property>
        <Property name="LOG_FILE_PATH">/Users/A-Study/logs/${APP_NAME}</Property>
        <Property name="PATTERN_FORMAT">%date{yyyy-MM-dd HH:mm:ss.SSS}$$%mdc{logId}$$%mdc{hostName}$$%mdc{ip}$$%level$$%mdc{module}$$%class$$%method$$%msg%n</Property>
    </Properties>

    <!--输出源-->
    <Appenders>

        <!--输出到控制台-->
        <Console name="Console" target="SYSTEM_OUT"><!--输出的类型SYSTEM_ERR-->
            <PatternLayout pattern="${PATTERN_FORMAT}"/>
        </Console>

        <!--输出到logstash的appender-->
        <Socket name="Socket" host="192.168.56.188" port="4560" protocol="TCP">
            <!--输出到logstash的日志格式-->
            <PatternLayout pattern="${PATTERN_FORMAT}"/>
        </Socket>

        <!--输出info信息日志到文件 用来定义超过指定大小自动删除旧的创建新的的Appender.-->
        <RollingFile name="RollingInfoFile" fileName="${LOG_FILE_PATH}/info.log"
                filePattern="${LOG_FILE_PATH}/$${date:yyyyMM}/info-%d{yyyyMMdd}-%i.log.gz">
            <!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
            <Filters>
                <ThresholdFilter level="warn" onMatch="DENY"
                        onMismatch="NEUTRAL"/>  <!--高于warn级别就放行,低于这个级别就拦截-->
                <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            </Filters>

            <PatternLayout>
                <pattern>${PATTERN_FORMAT}</pattern> <!--文件路径-->
            </PatternLayout>

            <!--设置文件具体拆分规则-->
            <Policies>
                <!--在系统启动时, 触发拆分规则,生产一个新的日志文件-->
                <OnStartupTriggeringPolicy/>
                <!--按照文件大小拆分, 30 MB -->
                <SizeBasedTriggeringPolicy size="30 MB"/>
                <!--按照时间节点拆分, 规则根据filePattern定义的-->
                <TimeBasedTriggeringPolicy/>
            </Policies>
            <!--在同一个目录下,文件的个数限定为 30 个, 超过进行覆盖-->
            <DefaultRolloverStrategy max="30"/>
        </RollingFile>

        <!--输出错误日志到文件-->
        <RollingFile name="RollingErrorFile" fileName="${LOG_FILE_PATH}/error.log"
                filePattern="${LOG_FILE_PATH}/$${date:yyyyMM}/error-%d{yyyyMMdd}-%i.log.gz">
            <!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
            <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>

            <PatternLayout>
                <pattern>${PATTERN_FORMAT}</pattern>
            </PatternLayout>

            <Policies>
                <!--在系统启动时, 触发拆分规则,生产一个新的日志文件-->
                <OnStartupTriggeringPolicy/>
                <!--按照文件大小拆分, 30 MB -->
                <SizeBasedTriggeringPolicy size="30 MB"/>
                <!--按照时间节点拆分, 规则根据filePattern定义的-->
                <TimeBasedTriggeringPolicy/>
            </Policies>
            <!--在同一个目录下,文件的个数限定为 30 个, 超过进行覆盖-->
            <DefaultRolloverStrategy max="30"/>
        </RollingFile>
    </Appenders>


    <!--定义logger,日志记录器配置-->
    <Loggers>
        <!--过滤掉spring和mybatis的一些无用的DEBUG信息-->
        <Logger name="org.springframework" level="INFO"/>
        <Logger name="org.mybatis" level="INFO"/>

        <!-- LOG "com.luis*" at TRACE level -->
        <Logger name="com.luis" level="INFO"/>
        <!--使用 rootLogger 配置 日志级别 level="trace"-->
        <Root level="INFO">
            <!--指定日志使用的处理器-->
            <AppenderRef ref="Console"/>
            <AppenderRef ref="RollingInfoFile"/>
            <AppenderRef ref="RollingErrorFile"/>
            <AppenderRef ref="Async"/>
            <AppenderRef ref="Socket"/>
        </Root>
    </Loggers>
</Configuration>

主要是Socket 那部分配置,笔者的mdc里面的字段有自定义,在项目日志切面部分做了MDC输入值的处理,非原始配置

img

日志能够上传到es中,kibana里面可以查看到

2.4. logstash文件信息切割

对应logstash,默认是格式是使用的logback的默认格式,一旦使用log4j2或其他日志框架来指定日志的输出格式时,那么logstash便无法解析,需要进行自定义过滤。

2.4.1. 自定义过滤

笔者使用的是

<Property name="PATTERN_FORMAT">%date{yyyy-MM-dd HH:mm:ss.SSS}$$%mdc{logId}$$%mdc{hostName}$$%mdc{ip}$$%level$$%mdc{module}$$%class$$%method$$%msg%n</Property>

在logstash.conf中添加的filter过滤规则如下

filter {
  grok {
    match => {
    "message" => "^%{TIMESTAMP_ISO8601:timestamp}\$\$(?<logId>[a-fA-F0-9]{32})?\$\$(?<hostName>[^\$]+)\$\$(?<ip>%{IP})\$\$%{WORD:level}\$\$(?<module>[^\$]*)?\$\$(?<class>.*?)\$\$(?<method>[^\\$]+)\$\$(?<msg>.*)"
    } 
  }
  date {
        match => ["timestamp", "yyyy-MM-dd HH:mm:ss.SSS"]
        target => "@timestamp"
  }
  mutate {
    remove_field => ["message","port"]
  }
}

显示结果如下:

img

2.4.2. 多行问题

有时输出的是异常日志,存在多行问题,并不是按照这个格式打印,需要修改input配置,支持多行的日志

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => multiline {
      pattern => "^\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}\.\d{3}" # 确保这与您的日志格式匹配
      negate => true
      what => "previous"
      auto_flush_interval => 1
    }
  }
}

这样打印出来的支持多行合并

img

2.4.3. 遗留问题

目前只是部署了ELK,而且还是单机模式,当前的日志搜集使用的是tcp,由于多行的日志,搜集不知道下一次什么时候结束,所以当前的部署方式存在当前请求的接口日志只打印了部分,下一次请求来了时,上一次的日志才会完全打印出

解决这个问题,一个是自己部署虚拟机的配置尽量高一点

再一个可以部署filebeat,来进行优化日志收集过滤

标签:ELK,compose,elk,mdc,elasticsearch,docker,logstash,日志
From: https://www.cnblogs.com/live2learn/p/18171137

相关文章

  • Docker项目必备
    1、logback-spring.xml<?xmlversion="1.0"encoding="UTF-8"?><configuration><includeresource="org/springframework/boot/logging/logback/defaults.xml"/><jmxConfigurator/><springPropert......
  • ELK日志告警elastalert2
    在/opt目录创建文件以及文件夹 -rw-r--r--1rootroot3394月1714:26docker-compose.ymldrwxr-xr-x3rootroot40964月1715:53elastalert2 [root@node1opt]#treeelastalert2/elastalert2/├──elastalert.yaml└──rules├──......
  • docker之旅 10.容器实战-部署tars微服务框架
    参考地址:https://doc.tarsyun.com/#/installation/docker.mdhttps://github.com/TarsCloud/Tarshttps://hub.docker.com/r/tarscloud/base-deploy https://tarscloud.gitbook.io/tarsdocs/kuang-jia-bu-shu/docker 前提:假设你已经安装好了docker,docker-compose。如......
  • 关于在CentOS7的docker容器下启动MySQL5.7.44卡住的问题的解决办法
    最近想在docker中跑一个MySQL5.7版本的服务,而且要基于CentOS,所以着手自己构建镜像。容器的构建参照下面这篇文章基于CentOS7镜像容器的MySQL环境构筑-sxb_sunday-博客园(cnblogs.com)构建完成后,用下面命令启动MySQL服务的时候,启动进程一直卡住没有反应,只能CTRL+C强制停止。......
  • docker部署MySQL并且外部连接
    我用的是腾讯云轻量级服务器记得去防火墙开启对应的端口一般是3306docker安装就不说了dockerpullmysql直接拉取最新的版本 dockerrun-p3306:3306--namemymysql-v$PWD/conf:/etc/mysql/conf.d-v$PWD/logs:/logs-v$PWD/data:/var/lib/mysql-eMYSQL_ROOT_......
  • 在 .net core 3.1 的 docker 镜像生成的容器中,连接 sql server 2008 r2 版本的数据库,
    错误1:{"ClassName":"System.Data.SqlClient.SqlException","Message":"Aconnectionwassuccessfullyestablishedwiththeserver,butthenanerroroccurredduringthepre-loginhandshake.(provider:TCPProvider,......
  • docker入门
    docker的安装安装Docker的步骤取决于您的操作系统。以下是在不同操作系统中安装Docker的简要步骤和示例代码:Ubuntusudoapt-getupdatesudoapt-getinstalldocker-cedocker-ce-clicontainerd.ioDebiansudoapt-getupdatesudoapt-getinstalldocker-cedocker-ce-cl......
  • 使用 docker-compose 部署 oracle19c
    目前应该很少有公司再使用oracle11gR2版本了,官方在2020-12-31日后就停止支持和维护了,绝大多数公司应该都升级到oracle19c版本了。因此当前oracle数据库中使用最多的版本就是oracle19c了,但是官方对其支持和维护的截止日期是2026-3-31。其实即使官方停止技术支持和......
  • 使用 docker 部署 AspNetCore 应用:使用alpine镜像并加入健康检查和瘦身
    前言#使用docker部署AspNetCore应用已经是标配了,之前我一直使用mcr.microsoft.com/dotnet/aspnet:8.0这类镜像,简单粗暴,不过可以使用alpine进一步优化镜像大小。很多开源工具的docker都有健康检查,这次我顺便也给加上了。PS:本文的例子项目来自一个差点被砍掉的项目......
  • docker部署jar包
    1、Dockerfile#构建镜像,执行命令:【dockerbuild-tjdk8:1.0.】FROMopenjdk:8-jdkMAINTAINERraorao#设置时区RUNln-sf/usr/share/zoneinfo/Asia/Shanghai/etc/localtimeRUNecho'Asia/Shanghai'>/etc/timezoneENTRYPOINT["java","-serv......