首页 > 其他分享 >filebeat采集log日志,并自定义索引

filebeat采集log日志,并自定义索引

时间:2022-10-07 22:34:21浏览次数:59  
标签:filebeat log 自定义 spring setup source fields input

filebeat配置:

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

# filestream is an input for collecting log messages from files.
- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /home/elk/logs/info.log
  fields: 
    source: info
- type: log
  enabled: true
  paths: 
    - /home/elk/logs/error.log
  fields: 
    source: error

自定义模板设置

setup.template.enabled: false
setup.template.name: "spring"
setup.template.pattern: "spring-*"
setup.template.overwrite: true
setup.ilm.enabled: false

自定义索引配置:

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.108.200:9200"]
  index: "spring-%{[fields.source]}-*"
  indices:
    - index: "spring-info-%{+yyyyMMdd}" 
      when.equals: 
        fields: 
          source: "info"
    - index: "spring-error-%{+yyyyMMdd}"
      when.equals:
        fields: 
          source: "error"

输出到ES效果:

 

 如果各索引显示yellow,则设置:

PUT _settings
{
  "index":{
    "number_of_replicas":0
  }
}

 

标签:filebeat,log,自定义,spring,setup,source,fields,input
From: https://www.cnblogs.com/chensuqian/p/16767361.html

相关文章

  • Logback打印日志
    概括Logback是由log4j创始人设计的另一个开源日志组件,官方网站:http://logback.qos.ch。它分为三个模块:logback-core:其它两个模块的基础模块logback-classic:它是log4j......
  • filebeat 自定义nginx的字段
    nginx配置:log_formatmain'$remote_addr-$remote_user[$year-$month-$day$hour:$minutes:$seconds]"$request"''$status$body_byt......
  • dg环境下修改redo log和standby log
    系统:centos7.964位数据库:oracle11.2.0.464位环境:rac(双节点)+dg问题描述:搭建dg处理联机&standby日志文件的log_file_name_convert参数时,由于少添加“/”,造成联机日志......
  • android自定义控件无法显示的原因
    android自定义控件无法显示的原因​​编者:李国帅​​​​时间:2020/8/1 ​​背景:Android开发中经常会遇到时间选择,而且经常会被要求使用类似ios的滚轮风格。只是android并......
  • dg端drop standby log报错ORA-00261 ORA-00312
    系统:centos7.964位数据库:oracle11.2.0.464位环境:rac(双节点)+dg问题描述:dg端dropstandbylog报错ORA-00261、ORA-00312,如下所示:SQL>selecta.thread#,a.group#,b.me......
  • jira项目笔记17-自定义useArray
    2-1、要求自定义一个useArray的customhook。结合react-hook和typescript,实现对数组简单的增加、删除、清空的那个功能,并且对增加的对象类型有限制2-2、代码实现export......
  • graylog server 模块说明一 入口简单说明
    通过graylog的入口我们可以了解到graylog的运行机制入口代码graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java简单说明入口出基于了spi查找开发的模块......
  • MyBatis框架:第八章:自定义结果集,一对一,一对多,延迟加载,赖加载
    13.1、自定义结果集介绍自定义结果集,可以给复杂的对象使用。也就是对象内又嵌套一个对象。或者一个集合。在这种情况下。前面学过的知识点,已经无法直接获取出对象内对象......
  • STM32的SPI口的DMA读写[原创www.cnblogs.com/helesheng]
    SPI是我最常用的接口之一,连接管脚仅为4根;在常见的芯片间通信方式中,速度远优于UART、I2C等其他接口。STM32的SPI口的同步时钟最快可到PCLK的二分之一,单个字节或字的通信时间......
  • 数据库还原失败System.Data.SqlClient.SqlError: 无法执行 BACKUP LOG,因为当前没有数
    造成这个问题的原因是结尾日志,在还原时将结尾日志备份下的“还原前进行结尾日志备份”勾掉就可以了。如下图所示:  ......