首页 > 其他分享 >Flink 中的状态管理

Flink 中的状态管理

时间:2024-01-28 21:11:49浏览次数:24  
标签:状态 托管 管理 Flink State 算子 数据

1.概述

在Flink中,算子任务可以分为无状态和有状态两种情况。

无状态的算子任务只需要观察每个独立事件,根据当前输入的数据直 接转换输出结果。我们之前讲到的基本转换算子,如map、filter、flatMap,计算时不依赖其他数据,就都属于无状态的算子。

而有状态的算子任务,则除当前数据之外,还需要一些其他数据来得到计算结果。这里的“其他数据”,就是所谓的状态(state)。算子中,聚合算子、窗口算子都属于有状态的算子。

有状态算子的一般处理流程,具体步骤如下。

  1. 算子任务接收到上游发来的数据;
  2. 获取当前状态;
  3. 根据业务逻辑进行计算,更新状态;
  4. 得到计算结果,输出发送到下游任务。

2.状态的分类

1.托管状态(Managed State)和原始状态(Raw State)

Flink 的状态有两种:托管状态(Managed State)和原始状态(Raw State)。托管状态就是由 Flink 统一管理的,状态的存储访问、故障恢复和重组等一系列问题都由 Flink 实现,我们只要调接口就可以;而原始状态则是自定义的,相当于就是开辟了一块内存,需要我们自己管理,实现状态的序列化和故障恢复。

通常我们采用 Flink 托管状态来实现需求。

2.算子状态(Operator State)和按键分区状态(Keyed State)

标签:状态,托管,管理,Flink,State,算子,数据
From: https://www.cnblogs.com/fanqisoft/p/17993419

相关文章

  • 实现一个状态机
    问题的描述最近在改仿真软件的状态切换,什么意思呢,这东西有点像个播放器,但是不仅仅是播放暂停那么简单。首先我们画一个图,以一个图说明:  通过以前的面向对象设计经验我们知道有一种叫状态机的东西,简而言之就是把每个状态通过节点对象包装,节点是什么类型就是当前处于什么状态,......
  • Windows 堆管理机制 [2] Windows 2000 – Windows XP SP1版本
    2.Windows2000–WindowsXPSP12.1环境准备环境环境准备虚拟机32位Windows2000SP4调试器OllyDbg、WinDbg编译器VC6.0++、VS20082.2堆的结构​ 在该阶段,整个堆空间主要由4个结构来维护,分别是段表(segmentlist)、虚表(VirtualAllocationlist)、......
  • Windows 堆管理机制 [3] Windows XP SP2 – Windows 2003 版本
    3.WindowsXPSP2–Windows20033.1环境准备环境环境准备虚拟机32位WindowsXPSP2\32位WindowsXPSP3调试器OllyDbg、WinDbg编译器VC6.0++、VS20083.2堆的结构(Windbg详细分析)​ 在该阶段,堆块的数据结构基本继承于Windows2000–WindowsXPSP1......
  • Windows 堆管理机制 [1] 堆基础
    声明:这篇文章在写的时候,是最开始学习这个堆管理机制,所以写得有些重复和琐碎,基于笔记的目的想写得全一些,这篇文章写的时候参考了很多前辈的文章,已在末尾标出,某些未提及到的可以在评论补充基于分享的目的,之前把所有部分都放出来了,但是全篇有八万词,pdf版本长达两百多页,全部放出看着......
  • 浅谈主数据管理项目建设思路
    主数据是数据之源,是数据资产管理的核心,是信息系统互联互通的基石,是信息化和数字化的重要基础。——《主数据管理实践白皮书》 近期,国家印发《数字中国建设整体布局规划》,提出数字中国建设的整体框架,标志着数字经济被放到更重要的位置。而主数据管理作为数据治理的重要一环,科......
  • 如何管理好一个一盘散沙的新团队?
    如何管理好一个一盘散沙的新团队?**面对这样一道大题:很多人都在谈人,但缺少事人是管不住的;很多人都只关心方法,但真正能让80%的人通过80%的努力达到80分的不是方法,而是方法论!**如何盘活并管理好一个一盘散沙的新团队?或许“六步走”的方法论,才能帮助局中人找到捉刀的正确思路与姿势。......
  • [职场] 食品安全管理员的就业前景
    由于人们对食品质量和安全的日益关注,食品安全管理员的就业前景变得越来越明亮。本文将从各个方面全面解析这一职业。一、食品安全管理员是什么食品安全管理员是一种非常重要的职业,负责确保食品在生产、加工、储存、运输和销售过程中的安全。食品安全管理员的工作职责包括制定食品安......
  • linux内存管理(三)进程地址空间(上)v5.0
    每个进程都有自己的虚拟机地址空间。在task_struct数据结构中有一个mm_struct专门用来描述进程的虚拟地址空间。structtask_struct{...structmm_struct*mm;...}structmm_struct{struct{structvm_area_struct*mmap;/*listofVMAs*......
  • 隧道人员安全管理系统中隧道人员定位设备
    探索隧道人员定位设备:保障安全的隐形守护者【云南恩田智能】在现代隧道工程中,人员安全管理至关重要。为了确保施工人员的安全和提高工作效率,隧道人员定位设备应运而生。这些先进的技术装备犹如隐形的守护者,为隧道中的每一个人提供了坚实的保障。隧道人员定位设备采用了先进的定位......
  • ABP-VNext 用户权限管理系统实战03---动态api调用并传递token
    一、使用动态api的目的ABP可以自动创建C#API客户端代理来调用远程HTTP服务(RESTAPIS).通过这种方式,你不需要通过 HttpClient 或者其他低级的HTTP功能调用远程服务并获取数据.现在有两个服务:BackgroundJob服务要调用IdentityManagement服务,并在调用时传递token二、集成步......