首页 > 其他分享 >使用logback集成logstash 达到ELK日志收集目的

使用logback集成logstash 达到ELK日志收集目的

时间:2024-11-28 10:56:10浏览次数:6  
标签:ELK log pattern sys path logback logstash

一、maven引入

net.logstash.logback
logstash-logback-encoder
7.2

二、配置文件配置logback-logstash.xml

logback-logstash.xml的配置信息

<!--输出到logstash的appender-->
<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--可以访问的logstash日志收集端口,xxxIP为logstash暴露的IP和端口-->
    <destination>xxxIP:5044</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
        <customFields>{"spring.application.name":"${appName}"}</customFields>
    </encoder>
</appender>


<!-- 日志输出和接收 -->
<root level="info">
    <appender-ref ref="logstash"/>
    <!--<appender-ref ref="logstash2"/>
    <appender-ref ref="logstash3"/>-->
</root>

三、引入rcs-common-logstash依赖工程

四、配置项目中的logback.xml日志配置文件

<!-- 控制台输出 -->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
</appender>

<!-- 系统日志输出 -->
<appender name="file_info" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-info.log</file>
    <!-- 循环政策:基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/sys-info.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>7</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>INFO</level>
        <!-- 匹配时的操作:接收(记录) -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作:拒绝(不记录) -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<appender name="file_error" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-error.log</file>
    <!-- 循环政策:基于时间创建日志文件 -->
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 日志文件名格式 -->
        <fileNamePattern>${log.path}/sys-error.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>7</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.LevelFilter">
        <!-- 过滤的级别 -->
        <level>ERROR</level>
        <!-- 匹配时的操作:接收(记录) -->
        <onMatch>ACCEPT</onMatch>
        <!-- 不匹配时的操作:拒绝(不记录) -->
        <onMismatch>DENY</onMismatch>
    </filter>
</appender>

<!-- 用户访问日志输出  -->
<appender name="sys-user" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <file>${log.path}/sys-user.log</file>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!-- 按天回滚 daily -->
        <fileNamePattern>${log.path}/sys-user.%d{yyyy-MM-dd}.log</fileNamePattern>
        <!-- 日志最大的历史 60天 -->
        <maxHistory>7</maxHistory>
    </rollingPolicy>
    <encoder>
        <pattern>${log.pattern}</pattern>
    </encoder>
</appender>

<!-- 系统模块日志级别控制  -->
<logger name="com.rcs" level="info"/>
<!-- Spring日志级别控制  -->
<logger name="org.springframework" level="warn"/>

** **

<root level="info">
    <appender-ref ref="console"/>
</root>

<!--系统操作日志-->
<root level="info">
    <appender-ref ref="file_info"/>
    <appender-ref ref="file_error"/>
</root>

<!--系统用户操作日志-->
<logger name="sys-user" level="info">
    <appender-ref ref="sys-user"/>
</logger>

四、启动springboot项目

标签:ELK,log,pattern,sys,path,logback,logstash
From: https://www.cnblogs.com/velloLei/p/18573840

相关文章

  • ElK环境搭建
    一,下载镜像注意:ELK版本必须最好保持一致二、安装1.编写docker-compose.yml配置version:'2.2'services:kibana:image:kibana:7.17.10container_name:kibana7environment:-I18N_LOCALE=zh-CN-XPACK_GRAPH_ENABLED=true-TIMELION_ENABLED=true-XPACK_MONITORIN......
  • elk镜像地址
    参考链接:https://www.cnblogs.com/cuit-pjc/p/17242820.htmlElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=Dlogstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=Dkibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=Delasti......
  • ELK日志收集之ES的DSL查询语句
    一、简介在Elasticsearch中,我们可以使用Elasticsearch-DSL(ElasticsearchDomainSpecificLanguage)来构建和执行复杂的搜索查询。官方QueryDSL指导文档。叶查询:在特定字段中寻找特定值,例如match,term或range。复合查询:具有查询子句或逻辑方式组和查询如booldis_max包含mus......
  • ELK--收集日志demo
    ELK--收集日志demo安装ELK日志收集配置启动容器springboot配置测试之前项目多实例部署的时候,由于请求被负载到任意节点,所以查看日志是开多个终端窗口。后来做了简单处理,将同一项目的多实例日志存入同一个文件,由于存在文件锁的竞争,日志内容混乱,性能差且效果也不好。......
  • logback配置日志归档和删除
    通用基本配置和说明<!--定义一个名为"RollingFile"的appender,用于滚动记录日志文件--><appendername="RollingFile"class="ch.qos.logback.core.rolling.RollingFileAppender"><!--指定日志文件的路径和文件名--><file>${log.path}/foo.l......
  • ELK日志收集之ES基础概念及索引增删改查别名
    一、ES核心基本术语集群(Cluster):由一个或多个节点组成的网络,共同提供索引和搜索功能。每个集群都有一个唯一的集群ID。#查看集群名字和UUIDcurl-XGET"localhost:9200"节点(Node):构成集群的基本单元,每个节点都有一个唯一的ID,并且可以存储数据。#查看所有节点信息curl-XGET"......
  • ELK中日志数据采集器Filebeat的安装和使用、Filebeat结合Logstash进行日志处理入Elast
    一、ELK中日志数据采集器Filebeat的安装和使用    Beats是数据采集的得力工具,Beats能够将数据转发至Logstash进行转换和解析。Filebeat是Beats中的一种,Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tailfile),并将它们转发给Elasticsearch或Logstats......
  • Spring Boot 三层架构结合 Redis 和 ELK 实现高效应用开发
    目录一、技术选型二、项目结构三、SpringBoot三层架构实现四、配置Redis五、配置ELK六、代码解析在企业级应用开发中,良好的架构设计和强大的技术栈能够提高开发效率、增强系统性能和可维护性。本文将介绍如何使用SpringBoot构建三层架构,并结合Redis和ELK(Ela......
  • ELK+zookeeper+kafka+rsyslog集群搭建
    前言环境困境:1.开发人员无法登陆服务器2.各系统都有日志,日志数据分散难以查找3.日志数据量大,查询忙,不能实时环境要求:1.日志需要标准化 集群流程图: 角色: 软件:以上软件都可以从官网下载:https://www.elastic.co/download......
  • ELK-03-skywalking监控linux系统
    文章目录前言一、下载node_exporter二、启动node_exporter三、下载OpenTelemetryCollector四、启动OpenTelemetryCollector4.1将配置文件下载到同级目录4.2启动五、查看总结前言skywalking安装完成后,开始我们的第一个监控-监控linux系统。参考官方文档:https:......