首页 > 其他分享 >filebeat配置采集多个文件(多索引)推送ES

filebeat配置采集多个文件(多索引)推送ES

时间:2023-12-20 11:35:03浏览次数:38  
标签:index filebeat log fields uat yyyy 推送 type ES

 

Filebeat 根据不同的日志设置不同的索引

 

配置如下:

filebeat.inputs:
- type: log
  paths:
    - /tmp/log/ecology
  encoding: GB2312
  fields:
    type: ecology
- type: log
  paths:
    - /tmp/log/stderr.log
  encoding: GB2312
  fields:
    type: strerr
- type: log
  paths:
    - /tmp/log/stdout.log
  encoding: GB2312
  fields:
    type: stdout
- type: log
  paths:
    - /tmp/log/workflow/workflow.log
  encoding: GB2312
  fields:
    type: workflow
- type: log
  paths:
    - /tmp/WEB-INF/sqllog/ecologysql
  encoding: GB2312
  fields:
    type: ecologySql

setup.template.name: "uat"
setup.template.pattern: "uat-*"
setup.ilm.enabled: false
output.elasticsearch:
  hosts: ["11.12.13.14:9200"]
  username: "elastic"
  password: "123456"
  index: "uat-%{[fields.type]}%-%{+yyyy-MM-dd}"
  indices:
    - index: uat-ecology-%{+yyyy-MM-dd}
      when.equals:
        fields.type: ecology
    - index: uat-strerr-%{+yyyy-MM-dd}
      when.equals:
        fields.type: strerr
    - index: uat-stdout-%{+yyyy-MM-dd}
      when.equals:
        fields.type: stdout
    - index: uat-workflow-%{+yyyy-MM-dd}
      when.equals:
        fields.type: workflow
    - index: uat-ecologySql-%{+yyyy-MM-dd}
      when.equals:
        fields.type: ecologySql

 

标签:index,filebeat,log,fields,uat,yyyy,推送,type,ES
From: https://www.cnblogs.com/todarcy/p/17916149.html

相关文章

  • Charles对Android手机Https请求的抓包
    Charles对Android手机Https请求的抓包•前情提要:本文只是对android手机进行抓包的描述,由于android手机系统原因,android7.0系统及以上需要在app中配置证书信任才能进行https抓包,android7.0(不含)以下系统,只需要配置好证书即可进行https抓包,本文分CharlesWindows版使用说明一、......
  • Kubernetes基础总结
    一、k8s简介kubernetes——容器、分布式架构kubernetes本质是一组服务器集群,可以在集群的每个节点上运行特定的程序,来对节点中的容器进行管理。主要功能:自我修复弹性伸缩——自动调整运行的容器数量服务发现——自动找依赖负载均衡——自动实现请求的负载均衡版本退回存......
  • wordpress博客系统
    wordpress博客系统LNMP:Linux+nginx+mysql+php一个操作系统+web网站+一个数据库存放数据+后端编程语言基于红帽操作系统来搭建1.需要一个本地yum仓库[[email protected]]#vimlocal.repo[local]name=localbaseurl=file:///mediaenabled=1gpgcheck=0[root@ser......
  • 10个常见的 Kubernetes 陷阱和挑战
    Kubernetes是最流行的容器编排和部署平台。它的强大功能特性,可以保障在生产中可靠地运行容器化应用程序。然而,有灵活性的同时也带来了复杂性,在本文中,我们将探讨许多团队遇到的10个常见Kubernetes陷阱。能够识别并避免这些挑战将提高应用程序的可扩展性、可靠性和安全性,同时让你......
  • kubernetes(k8s)Gitlab CI Runner 的安装
    kubernetes(k8s)GitlabCIRunner的安装简介从Gitlab8.0开始,GitlabCI就已经集成在Gitlab中,只要在项目中添加一个.gitlab-ci.yml文件,然后添加一个Runner,即可进行持续集成。在介绍GitlabCI之前,先看看一些GitlabCI的一些相关概念。流程逻辑如下:Jobs->Stages->Pipel......
  • mysql-----------------------------------------------testdata
    6种SQL数据去重技巧大揭秘!原创 测试开发成长录 测试开发成长录 2023-12-1714:08 发表于广东你终于来了,戳蓝一键关注 测试开发成长录不负时光,遇见每一次成长   在上一期中,我们学习了SQL基本语法|查询语句的使用方法和技巧。接下来,我们将重点学习SQL中去重数据......
  • Newtonsoft.Json.JsonReaderException:“Bad JSON escape sequence: \*. Path '****'
    测试Json字符串msg:{"field1":"\\\9527\","field2":"\\\\\data\\","field3":"\r\n\\\G\\\d\\\","field4":"TESTTEST\\1TEST\\\GTEST\\\\GTEST2\\\\\TEST3\\......
  • 神经网络优化篇:为什么正则化有利于预防过拟合呢?(Why regularization reduces overfitti
    为什么正则化有利于预防过拟合呢?通过两个例子来直观体会一下。左图是高偏差,右图是高方差,中间是JustRight。现在来看下这个庞大的深度拟合神经网络。知道这张图不够大,深度也不够,但可以想象这是一个过拟合的神经网络。这是的代价函数\(J\),含有参数\(W\),\(b\)。添加正则项,它可......
  • eclipse的preferences中找不到server项
    最近重装了eclipse,但在使用eclipse载入Tomcat时发现Windows项中的preferences下找不到server项,通过查阅发现是没有安装相应插件,通过查询安装成功找到server项。具体步骤如下:1、选择Help-->InstallNewSoftware  2、点击add->在name中输入"Kepler"repository;location中输......
  • TripleDES在java与c#中的区别
        C#下TripleDES默认支持16位和24位的秘钥,而Java下的DESedeKeySpec就只支持24位,其实怎么说呢,按3DES规范要求,的确其秘钥应该是24位而不是16位的,但16位秘钥可以按前8位+后8位+前8位的规则来升级成24位的秘钥,所以我们只需要简单的通过数组的Copy就可以将16位秘钥升级为24......