题记部分
一、什么是状态一致性
有状态的流处理,内部每个算子任务都可以有自己的状态。对于流处理器内部来说,所谓的状态一致性,其实就是我们所说的计算结果要保证准确、一条数据也不应该丢失,也不应该重复计算,在遇到故障时可以恢复状态,恢复以后的重新计算,结果应该也是完全正确的。
二、状态一致性分类
(1)AT-MOST-ONCE(最多一次)
当任务故障时,最简单的做法是什么都不干,既不恢复丢失的状态,也不重播丢失的数据。At-most-once 语义的含义是最多处理一次事件。
(2)AT-LEAST-ONCE(至少一次)
(3)EXACTLY-ONCE(精确一次)
三、一致性检查点
四、端到端状态一致性
五、端到端exactly-once
六、幂等写入
七、事务写入
八、预写日志
九、两阶段提交
十、不同Source和Sink的一致性保证
十一、Flink + Kafka端到端状态一致性保证
十二、Exactly-once 两阶段提交
— 业精于勤荒于嬉,行成于思毁于随 —
标签:状态,08,Flink,一致性,once,ONCE,端到 From: https://www.cnblogs.com/houhuilinblogs/p/18254721