首页 > 其他分享 >【Flink】Flink如何覆盖系统类、优先加载用户类、child-first使用技巧

【Flink】Flink如何覆盖系统类、优先加载用户类、child-first使用技巧

时间:2024-03-25 19:34:04浏览次数:21  
标签:flink Flink jar kafka connector child first 加载

在这里插入图片描述

1.概述

一个问题,关于类加载的,就是我使用了flink-sql-connector-kafka的依赖,但是我改了这个类,和任务在一个jar包里面,flink-sql-connector-kafka.jar和Flink的lib中的jar在hdfs上,Flink on yarn的方式提交作业,但是我改的这个类不生效(还是用的flink-sql-connector-kafka里面的类)classloader.resolve-order默认是child-first,意思是优先加载user code jar,但是在我本地环境idea中能生效,有啥解决方案吗?

在这里插入图片描述
背景是Kafka连接需要配置ssl证书路径,只支持全路径,不支持加载jar包中的证书,我又不想在每个nodemanager上传一份这个证书,修改了源码支持从classpath(user-code-jar包)中加载证书,我想到的解决方案是在Flink源码项目中改flink-sql-connector-kafka模块中覆盖增加这个kafka-client的类,然后编译打包传到hdfs上覆盖官方的,有没有更方便的方式加载任务jar中的类[拜托]

标签:flink,Flink,jar,kafka,connector,child,first,加载
From: https://blog.csdn.net/qq_21383435/article/details/132730110

相关文章

  • Flink 架构深度解析
    Flink是一个开源的流处理框架,用于处理和分析实时数据流。它以其高吞吐量、低延迟和强大的状态管理能力而闻名。本文将深入探讨Flink的架构设计,帮助读者理解其内部工作原理。1.引言在当今的数据驱动世界中,实时数据处理变得越来越重要。Flink提供了一个高性能、可扩展的平......
  • Flink CEP (四)组合模式
    FlinkCEP(四)组合模式文章目录初始模式(InitialPattern)近邻条件(ContiguityConditions)严格近邻(StrictContiguity)宽松近邻(RelaxedContiguity)非确定性宽松近邻(Non-DeterministicRelaxedContiguity)其他限制条件循环模式中的近邻条件定义好的个体模式,就可以尝试按一定......
  • 一文聊透 Flink 的 Temporal Join
    博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手......
  • 2023-12-22-flink-cdc使用
    应用场景、上手体验应用场景FlinkCDC(ChangeDataCapture)是一种用于捕获和处理数据源中的变化的流处理技术。它可以实时地将数据源中的增量更新捕获到流处理作业中,使得作业可以实时响应数据变化。以下是FlinkCDC的一些常见应用场景:数据仓库和实时分析:FlinkCDC可以......
  • Flink实战之Flink乱序场景汇总
    目录一数据乱序场景1数据源乱序2ETL造成乱序二Flink处理乱序数据方案1Watermark和EventTime模式2提前创建保序任务3使用事务性Sink保证下游数据时序三结语       在数据处理领域,无论离线批处理领域还是实时流处理领域,数据时序性对于最终数据的......
  • Flink 自定义 ClickHouse Table Connector 的简单实现
    本次实现基于Flink1.18版本,具体的对象之间的关系可以先参考官网的图:先拿官网上的Socket示例来说一下实现过程:首先编写SocketDynamicTableFactory实现DynamicTableSourceFactory接口。在SocketDynamicTableFactory中会返回SocketDynamicTableSource,同时返回实现......
  • 【Flink】Flink 使用 JobListener 监听 任务状态
    1.概述flink程序运行起来,需要获取flink的任务状态,我们有几种方式获取。使用yarn命令或者,查看任务状态使用flink指标监控查看flink任务状态使用JobListener监听任务状态下面我们来主要介绍如何使用JobListener监听任务状态。2.使用JobListener的使用很简单,我们只需......
  • 中电金信:技术实践|Flink维度表关联方案解析
    ​导语:Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架,主要用来处理流式数据。它既可以处理有界的批量数据集,也可以处理无界的实时流数据,为批处理和流处理提供了统一编程模型。 维度表可以看作是用户来分析数据的窗口,它区别于事实表业务真实发生的数据,通常......
  • Flink实时写Hudi报NumberFormatException异常
    Flink实时写Hudi报NumberFormatException异常问题描述在Flink项目中,针对Hudi表xxxx_table的bucket_write操作由于java.lang.NumberFormatException异常而从运行状态切换到失败状态。异常信息显示在解析字符串"ddd7a1ec"为整数时出现了问题。报错如下:bucket_write:......
  • 【快捷部署】002_Flink
    Flink一键安装(本地模式)install-flink.sh脚本内容#!/bin/bash####变量###执行脚本的当前目录mydir=$(cd"$(dirname"$0")";pwd)echo$mydir#flink安装目录flink=/flink#检查点目录cp=$flink/checkpoints/#保留点目录sp=$flink/savepoints/#tasknumber数量ta......