首页 > 其他分享 >10、Flink动态表之 DataStream 上的关系查询详解

10、Flink动态表之 DataStream 上的关系查询详解

时间:2024-08-26 09:54:00浏览次数:14  
标签:关系 10 DataStream 结果 Flink 视图 查询 SQL 物化

a)DataStream 上的关系查询

下表比较了传统的关系代数和流处理与输入数据、执行和输出结果的关系。

关系代数 / SQL流处理
关系(或表)是有界(多)元组集合。流是一个无限元组序列。
对批数据(例如关系数据库中的表)执行的查询可以访问完整的输入数据。流式查询在启动时不能访问所有数据,必须“等待”数据流入。
批处理查询在产生固定大小的结果后终止。流查询不断地根据接收到的记录更新其结果,始终不会结束。

尽管存在这些差异,但是使用关系查询和 SQL 处理流并不是不可能的,高级关系数据库系统提供了一个称为 物化视图(Materialized Views) 的特性。

物化视图被定义为一条 SQL 查询,就像常规的虚拟视图一样;与虚拟视图相反,物化视图缓存查询的结果,因此在访问视图时不需要对查询进行计算,缓存的一个常见难题是防止缓存为过期的结果提供服务;当其定义查询的基表被修改时,物化视图将过期,即时视图维护(Eager View Maintenance) 是一种一旦更新了物化视图的基表就立即更新视图的技术

考虑以下问题,那么即时视图维护和流上的SQL查询之间的联系就会变得显而易见:

  • 数据库表是 INSERTUPDATEDELETE DML 语句的 stream 的结果,通常称为 changelog stream
  • 物化视图被定义为一条 SQL 查询,为了更新视图,查询不断地处理视图的基本关系的 changelog 流。
  • 物化视图是流式 SQL 查询的结果。

标签:关系,10,DataStream,结果,Flink,视图,查询,SQL,物化
From: https://blog.csdn.net/m0_50186249/article/details/141555770

相关文章

  • 计算机毕业设计Hadoop+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计
    目录1绪论2 相关技术与工具2.1 大数据技术概述2.2 hadoop介绍3地震数据分析3.1数据收集与处理4地震数据可视化4.1可视化技术概述4.2可视化设计原则4.3可视化实现与评估5系统设计与实现5.1登录页面5.25.3地震数据分析页面5.4地......
  • C程序设计语言(第2版·新版)练习题1-10
    练习1-10 编写一个将输入复制到输出的程序,并将其中的制表符替换为\t,把回退符替换为\b,把反斜杠替换为\\。这样可以将制表符和回退符以可见的方式显示出来。#include <stdio.h>#include <conio.h>int main(int argc, char *argv[]){    (void)argc;    (void......
  • Python从0到100(五十三):决策树及决策树分类器
    决策树是⼀种常⽤的监督学习算法,⽤于解决分类和回归问题。它的基本原理是根据数据的特征来构建⼀颗树状结构,树的每个节点代表⼀个特征,每个分⽀代表⼀个特征的取值,叶节点代表输出类别或数值。决策树的⽬标是通过分裂特征,将数据集划分为纯度更⾼的⼦集,以最⼩化误差或不纯度......
  • Python从0到100(五十四):K近邻算法及⼿写数字识别数据集分类
    K最近邻(K-NearestNeighbors,简称KNN)是⼀种常⽤的监督学习算法,主要⽤于分类和回归问题。KNN的基本原理是基于特征空间中样本点的距离来进⾏预测或分类。对于分类问题,KNN找到与待分类样本在特征空间中最近的K个训练样本,并基于它们的类别标签进⾏投票决策。对于回归问题,KNN找......
  • 2024牛客暑期多校训练营10
    ASurrendertoMyWill签到题Bstd::pair模拟,建立二叉树即可DIsitrated?题目大意有\(n\)场\(\textbf{按顺序}\)的比赛,第\(i\)场比赛有表现分\(p_i\)。参加第\(i\)场比赛后你的分数\(r\)将变为\(r\times(1-k)+k\timesp_i\)。你可以选择最多\(m\)场比赛不参......
  • 题解:SP3109 STRLCP - Longest Common Prefix
    三倍经验:UVA11996JewelMagicP4036[JSOI2008]火星人题意维护一个字符串\(S\),支持以下操作:\(Q\i\j\):输出\(\operatorname{LCP}(S[i\dotsl],S[j\dotsl])\)\(R\i\char\):用\(char\)替换\(S\)的第\(i\)个字符\(I\i\char\):在\(S\)的第\(i\)......
  • 【C++ Primer Plus习题】5.10
    问题:解答:#include<iostream>usingnamespacestd;intmain(){ intcount=0; cout<<"请输入星星的行数:"; cin>>count; for(inti=0;i<count;i++) { for(intj=0;j<count-i-1;j++) { cout<<&qu......
  • 2024暑期牛客多校第10场 D Is it rated?
    题目大意有\(n\)场\(\textbf{按顺序}\)的比赛,第\(i\)场比赛有表现分\(p_i\)。参加第\(i\)场比赛后你的分数\(r\)将变为\(r\times(1-k)+k\timesp_i\)。你可以选择最多\(m\)场比赛不参加。给定初始分数\(r_0\)和参数\(k\)。问经过至少\(n-m\)场比赛后,分数最高是......
  • lvm 扩容 pvresize -v /dev/vdb lvextend -l +100%FREE /dev/vgdata/lvdata
    以root用户登录弹性云主机。执行fdisk-l命令,查看系统是否正确识别扩容后的磁盘。具体回显如图所示:扩容前/dev/vdb的容量是10GB,扩容后为20GB。执行pvdisplay命令,查看LVM的物理卷相关信息。具体回显如图所示:/dev/vdb的容量是10GB,说明物理卷容量未增加。执行pvresize-v 磁......
  • 苍穹外卖项目DAY10
    苍穹外卖项目DAY101、SpringTask1.1、介绍SpringTask是Spring框架提供的任务调度工具,可以按照约定的时间自动执行某个代码逻辑定位:定时任务框架作用:定时自动执行某段Java代码只要是需要定时处理的场景都可以使用SpringTask1.2、cron表达式cron表示式其实就是一个......