首页 > 其他分享 >Flink水印的传播规律

Flink水印的传播规律

时间:2022-11-02 23:36:23浏览次数:36  
标签:watermark 分区 Flink 水印 传播 算子 forward

如果算子之间的分区规则是forward,则watermark也采取forward的方式传播。

 

如果算子之间的分区规则是hash,则采用广播的方式传播,其他的重新分区的算子应该也类似。

在watermark广播的策略下,下游所有的事件时钟都会相等。

标签:watermark,分区,Flink,水印,传播,算子,forward
From: https://www.cnblogs.com/averyve/p/16852944.html

相关文章

  • 第一章、Flink wordcount 入门示例
    概述希望通过本示例对flink有一个轮廓性的认识本示例实现效果:flink连接SocketServer,从SockerServer中按行读取数据作为数据输入,将输入的数据根据空格切分、分组、......
  • 深度学习基础课:全连接层的前向和后向传播推导(下)
    大家好~我开设了“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序线上课程资料:本节课录像回放1加QQ群,获......
  • FlinkSQL之Windowing TVF
    WindowingTVF在Flink1.13版本之后出现的替代之前的Groupwindow的产物,官网描述其ismorepowerfulandeffective //TVF中的tumble滚动窗口 //tumble(tablesenso......
  • Flink SQL UNNEST/UDTF 如何实现列转行?
    在SQL任务里面经常会遇到一列转多行的需求,今天就来总结一下在FlinkSQL里面如何实现列转行的,先来看下面的一个具体案例. 需求:原始数据格式如下namedata......
  • 深度学习基础课:全连接层的前向和后向传播推导(中)
    大家好~我开设了“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序线上课程资料:本节课录像回放加QQ群,获得......
  • Flink集群部署
    集群standalone安装部署下载安装包下载页面:https://archive.apache.org/dist/flink/flink-1.7.2/我这里安装的flink-1.7.2-bin-hadoop27-scala_2.11.tgz版本。......
  • FlinkSql之TableAPI详解
    一、FlinkSql的概念核心概念Flink的TableAPI和SQL是流批统一的API。这意味着TableAPI&SQL在无论有限的批式输入还是无限的流式输入下,都具有相同的语义。......
  • 反向传播(Backpropagation)相关思想
    在前面我们学习了SVM损失函数和softmax损失函数,我们优化权重矩阵w的具体思路便是让损失函数最小化,还记得损失函数的定义吗?   没错,损失函数长这样,其中,Wj为权......
  • 实时数据湖 Flink Hudi 实践探索
    导读:首先做个自我介绍,我目前在阿里云云计算平台,从事研究Flink和Hudi结合方向的相关工作。目前,Flink+Hudi的方案推广大概已经有了一年半的时间,在国内流行度也已比较高......
  • Flink 的状态一致性
    Flink的状态一致性什么是状态一致性•有状态的流处理,内部每个算子任务都可以有自己的状态•对于流处理器内部来说,所谓的状态一致性,其实就是我们所说的计算结果......