首页 > 其他分享 >Flink - [08] 状态一致性

Flink - [08] 状态一致性

时间:2024-06-18 17:10:04浏览次数:27  
标签:状态 08 Flink 一致性 once ONCE 端到

题记部分

 

一、什么是状态一致性

  有状态的流处理,内部每个算子任务都可以有自己的状态。对于流处理器内部来说,所谓的状态一致性,其实就是我们所说的计算结果要保证准确、一条数据也不应该丢失,也不应该重复计算,在遇到故障时可以恢复状态,恢复以后的重新计算,结果应该也是完全正确的。

 

 

二、状态一致性分类

(1)AT-MOST-ONCE(最多一次)

当任务故障时,最简单的做法是什么都不干,既不恢复丢失的状态,也不重播丢失的数据。At-most-once 语义的含义是最多处理一次事件。

(2)AT-LEAST-ONCE(至少一次)

 

(3)EXACTLY-ONCE(精确一次)

 

 

三、一致性检查点

 

四、端到端状态一致性

 

五、端到端exactly-once

 

六、幂等写入

 

七、事务写入

 

八、预写日志

 

九、两阶段提交

 

十、不同Source和Sink的一致性保证

 

十一、Flink + Kafka端到端状态一致性保证

 

十二、Exactly-once 两阶段提交

 

 

 

 

— 业精于勤荒于嬉,行成于思毁于随 —

标签:状态,08,Flink,一致性,once,ONCE,端到
From: https://www.cnblogs.com/houhuilinblogs/p/18254721

相关文章

  • Flink1.17.0-报错: java.lang.NoSuchMethodError: org.apache.kafka.clients.admin.De
    背景:启动Flink的sql-client.sh,创建Kafka的source端表,然后查询Kafka的数据时报错。报错信息:2024-06-1816:10:12org.apache.flink.util.FlinkException:GlobalfailuretriggeredbyOperatorCoordinatorfor'Source:kafka_rmc_cust_analog_u[1]'(operatorbc764cd8ddf7a0c......
  • 提供一系列RF和微波:MMA041AA、MMA040AA(射频放大器)MMA022AA,MMS008AA射频开关
    MMA041AA是一款低噪声分布式放大器芯片,工作频率范围为DC至26GHz。该放大器提供18dB的平坦增益、3.2dB噪声系数和22dBm输出功率(1dBm增益压缩)。MMA041AA放大器具有内部匹配50ω的RFI/O,便于集成到MCM中。非常适合测试仪器和通信基础设施应用。特性宽带性能:DC至26GHz高增益......
  • 【408考点之数据结构】数据结构的基本概念
    数据结构的基本概念基本概念和术语数据结构是计算机科学中一个非常重要的概念,它描述了数据元素之间的关系及其在计算机内存中的组织方式。理解数据结构的基本概念和术语是学习数据结构的第一步。数据结构可以分为逻辑结构和存储结构两类。逻辑结构是指数据元素之间的逻辑......
  • 【408考点之数据结构】算法和算法评价(时间空间复杂度)
    算法和算法评价算法的基本概念在计算机科学中,算法是解决特定问题的一系列步骤。一个好的算法应该具备以下五个基本特性:有穷性:算法必须在有限的步骤内终止。确定性:每一步骤都必须明确,没有歧义。可行性:算法的每个步骤都可以通过基本运算在有限时间内完成。输入:一个算法有零......
  • 【PXIE301-208】基于PXIE总线架构的Serial RapidIO总线通讯协议仿真卡
     板卡概述       PXIE301-208是一款基于3UPXIE总线架构的SerialRapidIO总线通讯协议仿真卡。该板卡采用Xilinx的高性能Kintex系列FPGA作为主处理器,实现各个接口之间的数据互联、处理以及实时信号处理。板卡支持4路SFP+光纤接口,支持一个PCIex8主机接口,板载1组独立的6......
  • Flink - [07] 容错机制
    题记部分 一、一致性检查点  Flink故障恢复机制的核心,就是应用状态的一致性检查点。有状态流应用的一致性检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候。 二、从检查点恢复状态  在......
  • Flink - [06] 状态管理
    题记部分 一、Flink中的状态由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态。可以认为状态就是一个本地变量,可以被任务的业务逻辑访问。Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑在Flin......
  • Flink - [05] 时间语义 & Watermark
    题记部分 一、时间语义Flink中的时间语义分为以下,(1)EventTime:事件创建的时间(2)IngestionTime:数据进入Flink的时间(3)ProcessingTime:执行操作算子的本地系统事件,与机器相关 哪种时间语义更重要?不同的时间语义有不同的应用场合,我们往往更关心事件时间(Event Time)某些......
  • Flink - [03] API
    使用scala编写flinkapi从不同的数据源(源端)读取数据,并进行无界流/有界流的数据处理,最终将处理好的数据sink到对应的目标端 一、maven配置<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.or......
  • RK3308 工程配置修改
           wireless-bluetooth{    uart4_gpios:uart4-gpios{      rockchip,pins=<4RK_PA7RK_FUNC_GPIO&pcfg_pull_none>;    };   wireless_bluetooth:wireless-bluetooth{    compatible="bluetoot......