首页 > 其他分享 >计算引擎-Flink

计算引擎-Flink

时间:2024-01-18 17:24:08浏览次数:17  
标签:快照 barrier Coordinator Flink Checkpoint source 引擎 计算 节点

参考:https://mp.weixin.qq.com/s/RUS9w-bGan6fDcF9CVqvFw

checkpoint

1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint. 然后Source Task会在数据流中安插CheckPoint barrier
Job Manager 对每一个job都会产生一个Checkpoint Coordinator 向所有 source 节点 触发 trigger Checkpoint节点, 并行度是几,就会触发多少个。source 会向流中触发Barrier,接收到Barrier的节点就会保存快照(包括source)。
2.source 节点向下游广播 barrier,这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心, 下游的 task 只有收到所有进来的 barrier 才会执行相应的 Checkpoint(barrier对齐) 注意:新版本有一种新非对齐barrier
3.source先收到barrier,然后往后传递,若是多并行度,相当于多组接力赛跑比赛,所以顺序是不一致的,并不是同步。
4.下游的 sink 节点收集齐上游两个 input 的 barrier 之后,会执行本地快照。
5.同样的,sink 节点在完成自己的 Checkpoint 之后,会将 state handle 返回通知 Coordinator。
6.最后,当 Checkpoint coordinator 收集齐所有 task 的 state handle,就认为这一次的 Checkpoint 全局完成了,向持久化存储中再备份一个 Checkpoint meta 文件。

标签:快照,barrier,Coordinator,Flink,Checkpoint,source,引擎,计算,节点
From: https://www.cnblogs.com/bigbigtree/p/17972953

相关文章

  • 魔搭+ 函数计算_ 一键部署,缩短大模型选型到生产的距离
    引言面对魔搭ModelScope社区提供的海量模型,用户希望快速进行选型并生产使用起来,但在此之前,却一定会面临算力管理难、模型部署难等一系列问题,那么能否实现快速把选定的模型部署在云端功能强大的GPU上,由云端负责服务,扩展,保护和监控模型服务,同时免于运维和管理云上算力等基础......
  • 我与计算机
    我是现代信息技术学院,计应232班的赵精艺,我与计算机的渊源可能并不深厚,我是从大学开始才正式接触计算机这方面的知识,在此之前我只是简单的运用计算机来进行一些简单的操作,例如:搜索上网冲浪等。但是,在科技飞速发展的时代,计算机已经成为我们生活中不可或缺的一部分。当初报志愿的时......
  • Flink DataStream API 编程模型
    Flink系列文章第01讲:Flink的应用场景和架构模型第02讲:Flink入门程序WordCount和SQL实现第03讲:Flink的编程模型与其他框架比较第04讲:Flink常用的DataSet和DataStreamAPI第05讲:FlinkSQL&Table编程和案例第06讲:Flink集群安装部署和HA配置第07讲:Flink常见......
  • 运行flink 官方文档案例(信用卡欺诈检测)
     环境要求java11和mavn 新起命令行启动创建项目 mvnarchetype:generate-DarchetypeGroupId=org.apache.flink-DarchetypeArtifactId=flink-walkthrough-datastream-java-DarchetypeVersion=1.18.0-DgroupId=frauddetection -DartifactId=frauddetection -Dvers......
  • 计算机语言发展史
    计算机语言发展史第一代语言机器语言我们都知道计算机的基本计算方式都是基于二进制的方式。二进制:010001111010111110101这种代码是直接输入给计算机使用的,不经过任何的转换。1121031141005......
  • 我与计算机
    我是在大学选择计算机这个专业时才开始接触计算机的,因此我的基础比较薄弱,选择计算机这个专业是因为现在生活中几乎所有的一切都离不开计算机,它的发展空间和就业前景十分广阔,未来的工作薪资也可能比其他行业好,在大一上学期我了解到了许多关于计算机方面的知识,比如HTML5,CSS3,Java等......
  • python使用whisper用gpu进行计算
    如何使用Python和Whisper进行GPU计算引言:在计算机科学领域,GPU(图形处理器)已经成为进行高性能计算的重要工具。Python作为一种简单易用且功能强大的编程语言,也可以与GPU一起使用,实现各种复杂的计算任务。本文将向刚入行的小白介绍如何使用Python和Whisper库进行GPU计算。流程图:下......
  • 我与计算机
    我与计算机并不算很熟在上大学之前,最开始接触计算机是初中的信息课,那时候中考要考计算机的word啥的,所以学校安排的有相关课程。那时候觉得运行程序那道题好难啊啥也不会,现在想想也就那样吧。后来到了高中,我们又要会考,还要考计算机的基础知识,简直是头大了。那时的我怎么也不会想到......
  • xapian 搜索引擎介绍与使用入门
    Xapian是一个开源搜索引擎库,使用C++编写,并提供绑定(bindings )以允许从多种编程语言使用。它是一个高度适应性的工具包,允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian支持多种加权模型和丰富的布尔查询运算符。最新稳定版本是1.4.24,发布于2023年......
  • 我与计算机
    高中毕业前,我对计算机的了解只停留在用我家的台式计算机玩游戏的阶段,以为计算机技术是那些在小说和网络传闻中特别神秘、特别强大的黑客用的手段。因为对计算机强烈的兴趣,高考后,我便在网上找了一些有关的资料,还试听了几节网课,是关于Python爬虫和网络安全的,感觉很有意思。分数出来......