• 2024-06-21flinksql API StreamTableEnvironment StreamStatementSet应用
    1.问题描述在应用flink实时消费kafka数据多端中,一般会使用flink原生的addsink或flinkSQL利用SqlDialect,比如消费kafka数据实时写入hive和kafka一般用两种方式:第一种方式是写入hive利用SqlDialect,写入kafka利用flink的旁路输出流+原生addSink第二种方式是写入hive和kafka都利用S
  • 2024-04-03FlinkSQL Unable to create a source for reading table 'default_catalog.default_database.xxx'
    问题描述使用FlinkSql的jdbc连接器读取mysql的一张表,总是提示 Exceptioninthread"main"org.apache.flink.table.api.ValidationException:Unabletocreateasourceforreadingtable'default_catalog.default_database程序代码publicstaticvoidmai
  • 2024-02-28Hudi-FlinkSQL导入数据报错:[ERROR] Could not execute SQL statement. Reason: java.lang.ClassNotFoundExceptio
    问题描述通过FlinkSQL创建Hudi表后,向表中插入数据报错:[ERROR]CouldnotexecuteSQLstatement.Reason:java.lang.ClassNotFoundException:org.apache.hadoop.fs.FSDataInputStream 解决办法向Hudi表中写入数据时,会调用Hadoop的Jar包,但是Flink的lib目录中没有该Jar包。
  • 2024-01-14FlinkSQL实战开发
    FlinkSQL实战开发1、基础知识FlinkSQL分为TableAPI和SQLAPI,是架构于FlinkCore之上用SQL予以方便快捷地进行结构化数据处理的上层库。工作流程SQL和Table在进入Flink以后转化成统一的数据结构表达形式,也就是逻辑计划(logicplan),其中catalog提供元数据信息,用于后续的
  • 2023-10-08直播平台源码,FlinkSQL实现行转列
    直播平台源码,FlinkSQL实现行转列1、使用UNNEST解析 select name,course,scorefromods_kafka_student_scores CROSSJOINUNNEST(`list`)ASt(course,score);select name,course,scorefromods_kafka_student_scores,UNNEST(`list`)ASt(course,score);select name
  • 2023-05-06数据湖Iceberg-FlinkSQL-kafka类型表数据无法成功写入(6)
    数据湖Iceberg-简介(1)数据湖Iceberg-存储结构(2)数据湖Iceberg-Hive集成Iceberg(3)数据湖Iceberg-SparkSQL集成(4)数据湖Iceberg-FlinkSQL集成(5)数据湖Iceberg-FlinkSQL-kafka类型表数据无法成功写入(6)数据湖Iceberg-FlinkDataFrame集成(7)数据湖Iceberg-FlinkSQL-kafka类型表
  • 2023-02-14 dinky-binlog-kafka-flinksql流程处理
    准确阶段:mysql:开启mysql日志kafka:需检查服务是否正常maxwell:这里采用19版本,过新的版本对java版本要求高,我这里是java8maxwell-1.19.0maxwell操作:cd/root/tar_temp/maxwell-
  • 2023-02-02flinksql的初始化
    Mavn的依赖<properties><java.version>1.8</java.version><maven.compiler.source>${java.version}</maven.compiler.source><maven.compiler.targ
  • 2023-01-17FlinkSQL 时间类型转化使用小结
    https://blog.noname.cc/2023/01/16/20230116/FlinkSQL的时间类型在FlinkSQL中,存在两种时间类型,分别是TIMESTAMP和TIMESTAMP_LTZ.以下示例所用的字段:TIMESTAM
  • 2023-01-12k8s启动flinksql
    ./bin/kubernetes-session.sh-Dkubernetes.cluster-id=my-second-flink-cluster-Dkubernetes.jobmanager.service-account=flink-service-account-Dkubernetes.containe
  • 2022-11-13flink开发中整合flinksql、kafka、mysql、hbase等问题与结果记录
    在flink开发中,通常会配合flinksql、kafka、mysql、hbase等一块使用,为避免jar包缺失、冲突,现整理一下。一、版本说明flink:1.13.0kafka:2.11mysql:8.0hbase:2.2.3二、fl
  • 2022-11-01FlinkSQL之Windowing TVF
    WindowingTVF在Flink1.13版本之后出现的替代之前的Groupwindow的产物,官网描述其ismorepowerfulandeffective //TVF中的tumble滚动窗口 //tumble(tablesenso
  • 2022-10-31FlinkSql之TableAPI详解
    一、FlinkSql的概念核心概念Flink的TableAPI和SQL是流批统一的API。这意味着TableAPI&SQL在无论有限的批式输入还是无限的流式输入下,都具有相同的语义。
  • 2022-10-25FlinkSql的窗口使用以及运用案例
    1flinkSQL窗口概述1.1窗口定义:可理解为时间轴,可将无界流切分成有界流1.2窗口分类:TimeWindow:通过时间切割窗口,但是不知道窗口有多少数据滑动窗口滚动窗口
  • 2022-10-10flinksql读写redis
    0、前言最近有个需求,需要使用flinksql读写redis,由于官网上并没有redis的connector,在网上找了很久,开源的几个connector又没法满足要求,所有这里就自己动手实现了一个。
  • 2022-10-09FlinkSQL的DataStream和Table互转的Demo
    1.构建UserLog对象@Data@Builder//创建对象@NoArgsConstructor//无参构造函数@AllArgsConstructor//有参构造函数publicclassUserLog{privateStr
  • 2022-10-09FlinkSQL基础概念
    1.spark和flink的区别Flink中,批处理是流处理的一个特例spark刚好相反,是微小的批次,准实时不能说实时处理。 2.Fink的版本Flink1.12之前的版本,并没有实现流批统一Flin
  • 2022-10-08FlinkSql常用函数
    1、比较函数=<>>>=<<=注意:selectnull=null;返回为nullISNULL、ISNOTNULL--非空判断value1ISDISTINCTFROMvalue2、value
  • 2022-09-21flinksql实时数仓开发
    pom文件<groupId>com.ssi</groupId><artifactId>datalake</artifactId><packaging>pom</packaging><version>1.0-SNAPSHOT</version><name>DataLake</nam