首页 > 数据库 >flink开发中整合flinksql、kafka、mysql、hbase等问题与结果记录

flink开发中整合flinksql、kafka、mysql、hbase等问题与结果记录

时间:2022-11-13 15:45:48浏览次数:43  
标签:1.13 flinksql flink jar kafka connector mysql

在flink开发中,通常会配合flinksql、kafka、mysql、hbase等一块使用,为避免jar包缺失、冲突,现整理一下。

一、版本说明

flink:1.13.0
kafka:2.11
mysql:8.0
hbase:2.2.3

二、flink+socket

1)socket使用nc命令实现

nc -lk 9000

2)只需要flink-1.13.0解压后的原始的10个jar,不需要其它jar,如下:

 

二、flink/flinksql+kafka所需jar

flink-connector-kafka_2.11-1.13.0.jar
kafka-clients-2.1.1.jar

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>1.13.0</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.1.1</version>
</dependency> 

三、flinksql+mysql所需jar

flink-connector-jdbc_2.11-1.13.0.jar
mysql-connector-java-8.0.11.jar

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-jdbc_2.11</artifactId>
    <version>1.13.0</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.11</version>
</dependency>

 

标签:1.13,flinksql,flink,jar,kafka,connector,mysql
From: https://www.cnblogs.com/javasl/p/16886054.html

相关文章

  • kafka-consumer-groups 命令行工具使用手册,Kafka 管理必备
    kafka-consumer-groups命令行工具使用手册该手册原文出自​​$KAFKA_HOME\bin\windows\kafka-consumer-groups.bat--help​​命令的输出结果,并由​​Redisant​​提供......
  • Kafka RecordAccumulator 三 高并发写入数据
    KafkaRecordAccumulator三高并发写入数据首先我们客户端会通过多线程的方式来发送消息(一般业务需求可能会通过业务系统或者大数据流计算系统如SparkStreaming或者Fl......
  • 一个kafka的bug:StringDeserializer could not be found ,kafka 版 2.6.6
    近期用了个新版本的spring-boot:所以kafka也上到了2.6.6,于是乎遇到了题目上的问题,全网大部分的解决方案见下链接:​​https://www.it610.com/article/129413478502689177......
  • 快速掌握kafka原理解析
    ​简介​Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数......
  • mysql-canal-kafka-kettle 数据实时同步链部署bug 填坑过程
     1,因为mysql版本从5.7提高到8.0 ,需要更改用户配置。createuser'canal'@'%'identifiedby'canal';grantselect,replicationslave,replicationclienton......
  • Kafka概述
    1Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消......
  • Kafka工作流程分析
    Kafka工作流程分析1Kafka生产过程分析1.1写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机......
  • 【Kafka(二)】日志及索引文件
    每一个分区一个文件夹,一个分区对应多个文件。当满足一定条件后,会生成新的文件。每一个文件叫做一个日志段,每一个日志段会关联两个索引文件,一个是偏移量索引另一个是时间戳索......
  • 阿里云kafka使用springboot单个项目中同时消费不同topic
    本来是个简单的问题,但是复杂了。两个topic消费方式不一样,一个使用过的是默认方式,不指定partition,另外一个,指定了特殊的partition。报错:11:10:32.888[org.springframework.......
  • 【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvab
    问题描述参考Github上EventHub的示例代码(UsingApacheFlinkwithEventHubsforApacheKafkaEcosystems : https://github.com/Azure/azure-event-hubs-for-kafka......