首页 > 数据库 >FlinkSQL基础概念

FlinkSQL基础概念

时间:2022-10-09 22:36:43浏览次数:55  
标签:stream FlinkSQL 基础 查询 概念 API SQL Table 动态

1.spark和flink的区别

Flink中,批处理是流处理的一个特例

spark刚好相反,是微小的批次,准实时不能说实时处理。

 

2.Fink的版本

Flink1.12之前的版本,并没有实现流批统一

Flink1.12开始,Table API 和SQL,才真正的成熟

 

3.Flink Table API/SQL的执行过程

Table API/SQL >>>>>解析、校验、优化(Apache calcite) >>>> 逻辑计划>>>>>>物理计划>>>>>>转化>>>>>>执行图

 

4.动态表与连续查询

stream>>>>动态表(create table...)>>>>连续查询(select window窗口)>>>>>动态表>>>>stream

 

5.动态表转换为流需要进行编码(动态表)

5.1 仅追加流(Append-only stream,即insert-only)-------增操作

5.2 撤回流(Retract stream),添加(add),删除(retract)-------增删改操作,改是删除后进行新增

5.3更新插入流(Upsert流),添加(add),更新(update)

 

6.动态表查询限制

6.1状态大小限制(维护大数据量的状态信息)

6.2计算成本限制(例如:计算每个用户不同时刻具有的排名)

 

标签:stream,FlinkSQL,基础,查询,概念,API,SQL,Table,动态
From: https://www.cnblogs.com/glblog/p/16773947.html

相关文章