首页 > 其他分享 >关于搭建ELK的一些问题--filebeat收集旧日志时,旧日志不全(被截断等问题)

关于搭建ELK的一些问题--filebeat收集旧日志时,旧日志不全(被截断等问题)

时间:2023-09-25 11:55:45浏览次数:43  
标签:ELK filebeat 不全 截断 日志 500 搭建

由于我只是简单搭建日志监测平台,logstash比较吃系统资源,我用filebeat代替了logstash日志收集的职能(也没有做日志筛选)

用的是7.5.1版本 

由于搭建时已经存在旧日志,在导入时出现了日志不全的问题也就是说旧日志传输到elasticsearch时被截断了。

解决办法:

1.检查一下filebeat.yml 配置文件,属性 max_lines(默认为500)。

2.filebeat默认配置是一次读取前500行数据,而我们有些旧日志文件如果较大肯定超过500行,那么超出的部分就会被截断

3.把max_lines属性设置为合适的数值,(自己查看旧日志文件有多少行,就设置多少行)

 

标签:ELK,filebeat,不全,截断,日志,500,搭建
From: https://www.cnblogs.com/zhenlaobaicai/p/17727626.html

相关文章

  • MySQL运维1-日志
    一、错误日志错误日志是MySQL中最重要的日志之一,它记录了当MySQL启动和停止时,以及服务器在运行过程中发生的任何严重错误时的相关信息,当数据库出现任何故障导致无法正常使用时,建议首先查看此日志错误日志默认是开启的,默认存在目录/var/log/,默认的日志文件名为mysqld.log......
  • 南京大学《问题求解》第一学期项目开发日志
    9-22决定写一个具有TUI的小型回合制策略游戏。先利用VT序列获得了控制台的鼠标输入,以及对光标和缓冲区的控制能力。封装了一些输出日志的宏。本来想用getopt搞点log-level控制的,不过之后再说吧。......
  • 【TinyWebServer】10日志系统(下)
    日志系统分为两部分,其一是单例模式与阻塞队列的定义,其二是日志类的定义与使用。本篇将介绍日志类的定义与使用,具体的涉及到基础API,流程图与日志类定义,功能实现。基础API,描述fputs,可变参数宏__VA_ARGS__,fflush流程图与日志类定义,描述日志系统整体运行流程,介绍日志类的具体定义......
  • 畅购商城学习日志9.23
    "message":"Contenttype'text/plain;charset=UTF-8'notsupported"--畅购商城学习日志导航:目录"message":"Contenttype'text/plain;charset=UTF-8'notsupported"--畅购商城学习日志导航:1.问题描述:2.思路经历:3.产生原因:4.解决方法:方法一1......
  • 告警日志出现"which is different from the number of indexes 4 defined in the MySQ
    问题描述:告警日志出现"whichisdifferentfromthenumberofindexes4definedintheMySQL"报错,如下所示:数据库:MySQL5.7.211、告警日志########################################ErrorDetail########################################23092121:30:00[ERROR]Tablet......
  • 日志采集管理工具选型对比
    一、FilebeatFilebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。Filebeat的工作方式如下:启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指......
  • K8S:使用Filebeat收集K8S内Pod应用日志
    之前是针对标准输出进行采集,现在来看一下针对于容器当中的日志,是在pod当中添加一个日志采集器,这里部署一个应用,单独部署一个容器,这个容器是filebeat日志采集器,这一块就通过emptydir来实现数据的共享。filebeat的配置放在configmap当中,指明了日志采集的路径在哪,这个日志没有在标准......
  • alog一个日志库
    alogbrief功能介绍:alog是一个非常精简的串口输出日志组件,类似easyloger,但是比easyloger更简单易用,只有2个实际不到百行的文件,实现了基本日志所需的全部功能。需移植配置的接口选项少,实现了串口输出字符串就可以用了,没有C库以外的其他依赖。没有存储日志相关的扩展的API......
  • appium+Python封装日志类
    创建logger.py文件放置在框架目录Common文件夹下,logger.py代码如下:#_*_coding:utf-8_*_importloggingimporttimeclassLogger(object):def__init__(self,logger):self.logger=logging.getLogger(logger)self.logger.setLevel(logging.DE......
  • 5.使用日志+自定义全局异常过滤器
    刚开始写文章,封装Base基类的时候,添加了trycatch异常块,不过当时没有去记录日志,直接return了。有小伙伴劝我不要吃了Exception 其实没有啦,项目刚开始,我觉得先做好整体结构比较好。像是盖楼一样。先把楼体建造出来,然后再一步一步的美化完善。基础的仓储模式已经ok,Autofac已经注入......