首页 > 其他分享 >(八)Flink Join 连接

(八)Flink Join 连接

时间:2024-08-20 11:25:16浏览次数:15  
标签:元素 JOIN join Flink 流中 Window Join 连接

在分布式数据处理中,JOIN 是一个非常重要的操作。Flink 的 JOIN 是用于将两个数据流按照一定的条件进行连接,生成新的数据流。Flink 双流 JOIN 主要分为两大类:一类是基于窗口的 JOIN 操作,另一类是基于原生 State 的 Connect 算子操作。其中基于窗口的 JOIN 可细分为 Window Join、coGroup、Interval Join 三种。下面我们将对这三种 JOIN 做详细介绍。

目录

Window Join

coGroup

Interal Join


Window Join

Window Join 作用在两个流中有相同 key 且处于相同窗口的元素上。这些窗口可以通过 window assigner 定义,并且两个流中的元素都会被用于计算窗口的结果。 两个流中的元素在组合之后,会被传递给用户定义的 JoinFunction 或 FlatJoinFunction,用户可以用它们输出符合 Join 要求的结果。 底层原理:两条实时流数据缓存在 Window State 中,当窗口触发计算时,执行 Join 操作。

常见的用例可以总结为以下代码:

Stream1.join(Stream2)
    .where(<KeySelector>)
    .equalTo(<KeySelector>)
    .window(<WindowAssigner>)
    .apply(<JoinFunction>);

语义上有一些值得注意的地方:

两个流中创建成对的元素与 inner-join 类似,即一个流中的元素在与另一个流中对应的元素完成 join 之前不会被输出。

完成 join 的元素会将他们的 timest

标签:元素,JOIN,join,Flink,流中,Window,Join,连接
From: https://blog.csdn.net/springk/article/details/141353254

相关文章

  • 关于wifi的连接过程
    AP与STA:AP(接入点):AP是无线网络的中心设备,它连接有线网络并为无线设备提供网络接入。AP负责管理无线网络中的无线设备,如分配IP地址、控制流量等。一个无线网络可以有多个AP,以提供更好的覆盖范围和容量。STA(站点):STA是无线网络中的客户端设备,如笔记本电脑、智能手机等。S......
  • 网络超时控制 + 指数补偿法超时连接
    一、知识预览1)超时控制的概念引入2)使用setsockopt设置超时控制3)使用select设置超时控制4)使用SIGALRM和alarm设置超时控制5)指数补偿法的超时连接机制二、概念引入①什么是网络超时控制超时实际上是一种介于阻塞与非阻塞之间的折中等待的方案:阻塞操作,意味着如果条件不满......
  • flink上下游并行度不一致导致的数据乱序问题
    问题描述SingleOutputStreamOperator<Row>aggregatedStream=patrolStream.union(timerGarbageStream).filter(v->v.getFacility()!=null&&(v.getFacility().getType()==11||v.getFacility().getType()==48))......
  • mysql windows、Ubuntu安装与远程连接配置
    下载在Windows下安装MySQL需要在官网下载安装包官网地址www.mysql.com找到社区下载选择适用于Windows的MYSQL安装程序选择自己电脑对应的版本和所要下载的mysql版本一般是5.7版本和8.0版本按照图片上的选项进行安装到此就安装完成了需要自己手动配置环境变......
  • 推出ExaMAX®电源模块连接器:EPTS-2-P-D-VT-02、EPTS-2-P-D-VT-03、EPTS-2-P-D-VT-04、
    系列概述ExaMAX®电源模块连接器可用作独立电源解决方案,或与ExaMAX®连接器一起用于微型背板和传统背板应用。特征每个端子电流高达17.3A独立电源解决方案,也可与ExaMAX®背板连接器一起使用每个电源模块总计4个端子直角针脚、垂直或直角插座提供不同端子配置EPTS系列:ExaMAX®......
  • 简单的php连接mysql类
    <?phpclassDB{private$hostname;//数据库主机private$dbname;//数据库private$username;//数据库用户名private$password;//数据库密码private$port;//数据库端口public$db;//连接后的数据库对象//构造函数publicfunction__......
  • 记 Druid 连接池配置不当引发的服务卡慢宕机问题
    背景单体服务部署到Tomcat之后,运行一段时间,出现系统响应超时的情况。重启服务后正常,一段时间后重新出现。排查查看CPU信息发现正常,打开jvisualvm,发现线程数持续上升,且没有下降趋势,此时初步判断系统在某个地方卡住了,请求进来后处理任务的线程都处于等待状态。在jvisualvm......
  • 使用SSMS连接和查询 SQL Server 实例
    简介SQLServerManagementStudio是用于管理SQLServer基础架构的集成环境。ManagementStudio提供用于配置、监视和管理SQLServer实例的工具。此外,它还提供了用于部署、监视和升级数据层组件(如应用程序使用的数据库和数据仓库)的工具以生成查询和脚本。 官方使用教程:https......
  • 易优flink 友情链接-EyouCms手册
    【基础用法】名称:flink功能:用于获取友情链接列表。语法:{eyou:flinktype='text'row='30'titlelen='15'}{$field.title}{/eyou:flink}参数:type=''链接类型,text为文字链接,image为图片链接,all为全部链接row='30'链接类型数量titlelen='100'标题长度......
  • 使用EFCore连接达梦数据库
    为了快速验证EFCore连接达梦数据库,执行简单的查询语句,以下通过控制台程序来测试。这里的Demo项目,是比较早之前新建的,框架版本是.net6.0。1、项目添加EFCore和DM数据库的nuget包,添加成功之后查看项目文件的包引用(这里用到的是和6.0匹配的版本,其他版本相应升级依赖包即可)<Packa......