首页 > 其他分享 >logstash 时区问题

logstash 时区问题

时间:2023-01-03 21:11:31浏览次数:25  
标签:-% index 00 9200 192.168 问题 date logstash

场景

日志信息按天写入索引,output 代码如下

output {
    elasticsearch {
        hosts => ["192.168.23.20:9200","192.168.23.21:9200","192.168.23.22:9200","192.168.23.23:9200","192.168.23.24:9200"]
        index => "songtest-%{service}-%{+YYYY.MM.dd}"
    }
}

问题

发现写入时差存在问题,原本应2019.1.2 的日志应该写入 log-2019.01.02索引中结果发现实际写入该索引的日志区间为 2019.1.2 8:00:00 到 2019.1.3 8:00:00。
问题出在logstash 使用的是UTC 时间 和我们CST 时间相差8小时,当logstash 解析道timestamp 时间戳时会做减8h的操作,操作索引变更时间整体延后8小时

解决方案

增加一个index_date 字段 代替默认date pulgin %{+YYYY.MM.dd},上代码

filter{
# 1. 增加一个字段,计算timestamp+8小时
ruby {
    code => "event.set('index_date', event.get('@timestamp').time.localtime+ 8*60*60 )"
}
# 2. 用mutate插件先转换为string类型,gsub只处理string类型的数据,在用正则匹配,最终得到想要的日期
mutate {
    convert => ["index_date", "string"]
    gsub => ["index_date", "T([\S\s]*?)Z", ""]
    gsub => ["index_date", "-", "."]
}

}

output {
    elasticsearch {
        hosts => ["192.168.23.20:9200","192.168.23.21:9200","192.168.23.22:9200","192.168.23.23:9200","192.168.23.24:9200"]
        index => "songtest-%{service}-%{index_date}"
    }

标签:-%,index,00,9200,192.168,问题,date,logstash
From: https://www.cnblogs.com/leleyao/p/17023388.html

相关文章

  • 解决ROS配置中cv_bridge问题
    cv_bridge—opencv和ros连接起来的桥问题描述在JetsonNano+ROS环境上catkin_make时出现cv_bridge问题如下CMakeErrorat/home/nano/catkin_ws/devel/share/cv_bridge/c......
  • 天翼云80/8080/443端口访问不通问题
    前言前段时间天翼云搞活动,就薅了一台。我有一个域名(52pengyouquan.com)已经备案过了,只是重新解析到天翼云,但是始终访问不通。排查安全组确认80端口已放行nginx等应用......
  • 关于uniapp多层弹窗click事件点击唤起textarea键盘的问题
    原因由于textarea在原生组件中优先级高,导致click事件会优先触发textarea的点击中间遇到的问题由于使用cover-view将组件优先级实现了覆盖textarea的优先级,但是弹窗中的......
  • thinkbook14+ R76800h 共用内存2g,导致内存小的问题
    很简单,但是问了好几遍客户也没有给到关键的有用的信息,就是在bois中可用选择集成显卡的内存大小,把2g更换成512就够了(看个人需求,我用来编码,不打游戏,需要更多的内......
  • 记录Oracle删除重建企业级数据库(SDE)过程中遇到的问题
    背景说明:同事在删除表的时候不小心删除了SDE下面的所有表,因当时未发现,到发现的时候数据已经无法恢复,导致系统中的空间数据均无法打开,无奈下只能查找备份数据,重建SDE后进行......
  • vue3-seamless-scroll联合echarts时,无法产生两个chart问题
    最近需要用到el-table和echarts的滚动播放,在很多关于vue3和echarts的例子中都是这两种的://html<divref="refinstance">ref</div>//scriptletref=echarts.init(refin......
  • vue+Echarts动态数据已经赋值,但是无法渲染页面的问题
    vue+Echarts动态数据已经赋值,但是无法渲染页面的问题正常的给个div的大小<div><divid="echartss":style="{width:'100%',height:'600px'}"></div></div>......
  • vue 面试问题总结
    vue-cli工程常用的npm命令有哪些?全局安装vue-clinpminstall--globalvue-cli创建一个基于webpack模板的新项目vueinitwebpackmy-project进入项目目录,运行cd......
  • gitbash 不追踪大小写问题
    【情况】1.项目初始建立文件夹AAA2.为规范项目需要修改文件夹名称为aaa,打开git大小写敏感设置 gitconfigcore.ignorecasefalse3.修改aaa下的文件内容,执行gitst......
  • CentOS 7 使用单用户模式解决不能登陆问题
    1.CentOS7系统开机时选择默认第一启动项,按字母"e"键编辑启动项;2.使用键盘上下左右方向键,往下找到linux16开头的一行,定位到ro(readonly);3.编辑ro为rw(readwri......