首页 > 其他分享 >logstash数据无法写入到es

logstash数据无法写入到es

时间:2023-10-13 17:57:03浏览次数:27  
标签:index 13 写入 parse date type logstash es

现象:偶发性某天应用服务日志数据丢失,查看es无数据

架构:filebeat--->logstash--->es

logstash 上报错现象:

2023-10-13T13:05:14,161][WARN ][logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"srgp-2023.10.13", :_type=>"_doc", :routing=>nil}, #<LogStash::Event:0x3b1e2406>], :response=>{"index"=>{"_index"=>"srgp-2023.10.13", "_type"=>"_doc", "_id"=>"X41sJ4sBPtPNo0ugp5is", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [logdate] of type [date] in document with id 'X41sJ4sBPtPNo0ugp5is'. Preview of field's value: '2023-10-13 13:05:13,009'", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"failed to parse date field [2023-10-13 13:05:13,009] with format [strict_date_optional_time||epoch_millis]", "caused_by"=>{"type"=>"date_time_parse_exception", "reason"=>"date_time_parse_exception: Failed to parse with all enclosed parsers"}}}}}}
[2023-10-13T13:05:14,161][WARN ][logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"srgp-2023.10.13", :_type=>"_doc", :routing=>nil}, #<LogStash::Event:0x529a2802>], :response=>{"index"=>{"_index"=>"srgp-2023.10.13", "_type"=>"_doc", "_id"=>"9MlsJ4sBGw4njSrKpxWs", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [logdate] of type [date] in document with id '9MlsJ4sBGw4njSrKpxWs'. Preview of field's value: '2023-10-13 13:05:13,007'", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"failed to parse date field [2023-10-13 13:05:13,007] with format [strict_date_optional_time||epoch_millis]", "caused_by"=>{"type"=>"date_time_parse_exception", "reason"=>"Failed to parse with all enclosed parsers"}}}}}}

 

应用日志:
2023-10-13 09:51:14,710 INFO [AYQqkUTKRJufCZpBDujhww] [00534e185d57476498936]xxxxxxxxx
2023-10-13 09:51:14,750 INFO [AYQqkUTKRJufCZpBDujhww] xxxxxx

咨询ChatGpt:

GPT的解决方法也不行,其实上面的配置我的logstash也有,还是报这个错。

出处: ## https://www.cnblogs.com/liucx/

解决方法:
经过排查,logstash获取日志时,会以日志的第一条记录作为es自动创建的映射字段,logdate的类型变为时间类型了,导致无法写入到es,后修改这个索引的模板解决,强制mapping中的logdate设置为text类型

 解决啦

 

标签:index,13,写入,parse,date,type,logstash,es
From: https://www.cnblogs.com/liucx/p/17762760.html

相关文章

  • 下载的PC游戏启动后报错:无法加载 DLL“steam_api64”: 动态链接库(DLL)初始化例程失败
    无法加载DLL“steam_api64”:动态链接库(DLL)初始化例程失败。(异常来自HRESU解决方式:将文件夹拷贝到Steam-->steamapps文件夹下面还好是忍者神龟抛了个异常,才找到了问题所在,论抛异常的重要性!!!忍者神龟如龙......
  • CF1877E Autosynthesis
    总结题目约束其实就是,所选数下标组成的集合和未选数值组成的集合相同。我们发现该约束把值和下标联系在了一起,所以我们不妨考虑建出图来显式地表示二者,即,我们由\(i\)向\(a_i\)连边,然后考虑整张图。首先这肯定是个内向基环树森林,然后我们要对其黑白染色,设黑色表示选择,白色表......
  • CF1439D INOI Final Contests
    先总结一些充要条件。一个人\(i\)选不到自己的\(a_i\)的充要条件为:若为左侧,则存在左侧的一个\(j\)满足\(a_k\in[j,i]\)且\(b_k=R\)的\(k\)的个数\(>i-j\),右侧同理,满足其一即可。一个方案不合法的充要条件为,若对于一个\(b_i=R\)的\(i\),\(i\)选位置时\([a_i,n]......
  • resourcemanager高可用原理
    1.背景一年前写过的一篇文章:https://blog.51cto.com/u_15327484/5046768,介绍了ResourceManager的启动流程。文章中介绍了ResourceManager的选举流程,但是行文逻辑较混乱。本文在此基础上,更清晰地介绍了resourcemanager的高可用原理,希望能够达到小白也能看懂的程度。2.Zookeeper......
  • Codeforces Round 684 (Div. 2) B. Sum of Medians
    定义\(median\)是一个非降序数组中第\(\lceil\frac{n}{2}\rceil\)的数。数组从\(1\)开始标号。给两个数\(n\)和\(k\),并给出一个长为\(nk\)的数组\(a\)。需要分出为\(k\)个大小为\(n\)的数组,每个元素需要被严格分入一个数组中。需要让\(k\)个数组的中位数......
  • 2021 China Collegiate Programming Contest (CCPC) Guilin Site
    A.AHeroNamedMagnus#include<bits/stdc++.h>usingnamespacestd;#defineintlonglongusingpii=pair<int,int>;usingvi=vector<int>;voidsolve(){intx;cin>>x;cout<<2ll*x-1<<"......
  • wireshark 抓包出现两包相同数据
    最近在测试时,发现主机通过UDP发送1包数据,会出现wireshark抓到两包相同数据,但是目标处只接收到1包数据的问题。反复排查,发现只要使用USB转网口,就会出现这个问题。最后确认是使用混杂模式的原因怀疑是转接板接收到主机msg后,会将该msg发送出去,不巧的是混杂模式抓到了这包数据,因......
  • lesson11:鼠标监听事件-绘点
      packagecom.zym.lesson11;importjavax.swing.*;importjava.awt.*;importjava.awt.event.*;importjava.util.ArrayList;importjava.util.Iterator;//测试鼠标监听事件publicclassTestMouseListener{publicstaticvoidmain(String[]args){......
  • postgreSQL基本操作
    一、使用psql工具连接到数据库psql-Upostgres#postgres是具体的用户名,应具体情况具体分析效果如图:二、有关于数据库的基本指令pg不同于mysql,它的指令更为精简1、获取所有数据库信息\l2、选定数据库\c${yourdatebasename}3、获取所有表的信息\dt#此指令需......
  • Codeforces Round 685 (Div. 2) B. Non-Substring Subsequence
    对于一个长为\(n\)的\(01\)字符串\(s\)有\(n\)个询问。第\(i\)个询问被\(l_i,r_i\)描述\(1\leql_i<r_i\leqn\)。对于每个询问,你需要确定\(s\)中是否存在一个子序列等同于子串\(s[l_i\cdotsr_i]\)。显然子序列可以和子串仅有一个字符不相同。于是\(s......