有状态的计算是流式计算框架的一个重要功能,很多复杂的计算场景都需要记录一下相关的状态。Flink State一种为了满足算子计算时需要历史数据需求的,使用 checkpoint 机制进行容错,存储在 state backend 的数据结构。
1.State分类
Flink State被分为keyedstate、operatorstate、BroadcastState三种;keyedstate主要应用在keystream上,它的特点是同一个子任务的同一个key共享同一个state;另一个operatorstate主要应用应用在source和sink,它的特点是同一个子任务共享同一个state。BroadcastState同一个算子的多个 sub task 共享一个 state。
2.state数据结构
state的数据结构包含ValueState 、MapState 、ListState三种结构。
ValueState 存储单个值,访问接口可能有两种,get 和 set,在 State 上体现的是 update(T) / T value()。 MapState 的状态数据类型是 Map,在 State 上有 put、remove等。 ListState 状态数据类型是 List,访问接口如 add、update 等。
存储大的对象时要慎用ValueState 。
3.state存储介质
state可以存储到内存、文件、RocksDB。
基于内存的 MemoryStateBackend,状态存储在内存中,cp存储到jobmanager的内存中。 基于 HDFS 或 OSS 的 FsStateBackend,状态存储在taskmanger的内存中,在做 cp(checkpoint)时存到文件系统,文件系统可以是HDFS。 基于 RocksDB 的 RocksDBStateBackend,将对象序列化成二进制存在内存和本地磁盘的 RocksDB 数据中,并在 cp 时存到文件系统,文件系统可以是HDFS。
标签:存储,同一个,Flink,state,State,内存 From: https://www.cnblogs.com/beststrive/p/18195967