首页 > 其他分享 >flink 与 es 的一些问题

flink 与 es 的一些问题

时间:2023-10-07 14:56:48浏览次数:35  
标签:exception java flink field 一些 type id es

写入es maping字段类型冲突

error1:
org.apache.flink.streaming.connectors.elasticsearch.util.NoOpFailureHandler.onFailure(NoOpFailureHandler.java:40) - Failed Elasticsearch item request: Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [alarm_id] of type [long] in document with id 'jQTyeYcBKEN7eJDWu4vB'. Preview of field's value: '30001601a']
org.elasticsearch.ElasticsearchException: Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [alarm_id] of type [long] in document with id 'jQTyeYcBKEN7eJDWu4vB'. Preview of field's value: '30001601a']

error2:
Caused by: ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=object mapping for [action_object] tried to parse field [action_object] as object, but found a concrete value]]
    at org.elasticsearch.ElasticsearchException.innerFromXContent(ElasticsearchException.java:496)

java.lang.NoClassDefFoundError 通常由于maven依赖和服务器的依赖冲突

Caused by: java.lang.NoClassDefFoundError: org/elasticsearch/common/unit/TimeValue

心跳超时,服务器taskmanager挂掉

java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id 172.16.55.125:40811-057c3d timed out.

数据进入es sink算子没有数据写出的场景
添加配置
setBulkFlushMaxActions
setBulkFlushInterval

标签:exception,java,flink,field,一些,type,id,es
From: https://www.cnblogs.com/choice7/p/17746289.html

相关文章

  • flink序列化类型验证
    flink支持的序列化类型官方支持javatuplesandscalacaseclassesjavapojosprimitivetypesregularclassesvalueshadoopwritablesspeclalTypes验证代码StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();......
  • 编写脚本,使用for和while分别实现192.168.0.0/24网段内,地址是否能够ping通,若ping通则输
    for方法:[14:20:07root@centos8~]#catping_for.sh#!/bin/bash​#================================================================# Copyright(C)2021IEucdInc.Allrightsreserved.## 文件名称:ping_for.sh# 创建者:TanLiang# 创建日期:2021年10月17日# ......
  • AtCoder Grand Contest 057 E RowCol/ColRow Sort
    洛谷传送门AtCoder传送门首先考虑一个经典的套路:转\(01\)。具体而言,我们考虑若值域是\([0,1]\)怎么做。发现可以很容易地判定一个\(A\)是否合法。设矩阵第\(i\)行的和为\(r_i\),第\(j\)列的和为\(c_j\),那么合法当且仅当\(A\)的\(\{r_i\}\)和\(\{c_j\}\)(可重集......
  • 列出ubuntu软件管理工具apt的一些用法
    apt命令语法: apt options [package...] options:可选,选项包括-h(帮助),-y(当安装过程提示选择全部为"yes"),-q(不显示安装的过程)等等。 command:要进行的操作。 package:安装的包名。apt常用命令列出所有可更新的软件清单命令:aptupdate升级软件包:aptupgrade列出可更新......
  • 数据库 "test1007" 的 创建 失败。其他信息: 执行 Transact-SQL 语句或批处理时发生
    问题描述在我使用sqlServer登录名和密码验证登录时,出现了创建数据库错误的信息;问题解决只需要在使用Windows身份验证进行登录后,在服务器角色里面找到dbeavor,然后将我们的登录名添加进去,保存之后,重新启动;之后再使用sqlServer验证登录连接之后,就能够建立好数据库啦!......
  • 密码协议学习笔记(1.4):密码学的一些数学基础
    数学基础:抽象代数:一个算符的代数结构:幺半群:数的集合和一个算符构成的代数结构$(G,+)$,且满足封闭性结合律存在恒等元(在群中我习惯这么叫,避免混淆)群:满足如下条件的代数结构$(G,+)$:封闭性结合律存在恒等元对于每个元素均存在逆元交换群/阿贝尔群:满足如......
  • access
    access函数是C语言标准库中的一个函数,用于检查文件是否可以访问。函数原型intaccess(constchar*path,intmode);path:要检查的文件或目录的路径。mode:指定操作的方式,可以是以下值之一:F_OK:用于检查文件是否存在。R_OK:用于检查文件是否可读。W_OK:用于检查文件是否......
  • java中如何对特大文件做断点续传RandomAccessFile
    Java中可以使用 RandomAccessFile 类来实现特大文件的断点续传功能。importjava.io.File;importjava.io.IOException;importjava.io.RandomAccessFile;importjava.net.URL;importjava.net.HttpURLConnection;publicclassResumeDownloadExample{publicstaticvoi......
  • Converting Virtual Addresses to Physical Addresses
    ConvertingVirtualAddressestoPhysicalAddresses Mostdebuggercommandsusevirtualaddresses,notphysicaladdresses,astheirinputandoutput.However,therearetimesthathavingthephysicaladdresscanbeuseful.Therearetwowaystoconverta......
  • 2022 China Collegiate Programming Contest (CCPC) Weihai Site EAJGCI
    2022ChinaCollegiateProgrammingContest(CCPC)WeihaiSite目录2022ChinaCollegiateProgrammingContest(CCPC)WeihaiSiteVP概况E-PythonWillbeFasterthanC++A-DunaiJ-Eat,Sleep,RepeatG-Grade2C-GrassI-DragonBloodlineVP概况这场我一年......