首页 > 其他分享 >【Flink】基于 Flink 的流式数据实时去重

【Flink】基于 Flink 的流式数据实时去重

时间:2024-10-11 18:43:56浏览次数:8  
标签:状态 Managed Flink 实时 Raw State 流式

【Flink】基于 Flink 的流式数据实时去重-腾讯云开发者社区-腾讯云 https://cloud.tencent.com/developer/article/1707045

我们不能将状态仅交由内存管理,因为内存的容量是有限制的,当状态数据稍微大一些时,就会出现内存不够的问题。由于 Flink 本身提供了有状态的计算,并且封装了一些底层的实现,比如状态的高效存储、Checkpoint 和 Savepoint 持久化备份机制、计算资源扩缩容等问题,所以我们只需要调用 Flink API,专注于业务逻辑即可。

2.状态类型

Managed State 和 Raw State

Flink有两种基本类型的状态:托管状态(Managed State)和原生状态(Raw State)。从名称中也能读出两者的区别:Managed State 是由 Flink 管理的,Flink 帮忙存储、恢复和优化,Raw State 是开发者自己管理的,需要自己序列化。两者对比如下:

 

Managed State

Raw State

状态管理方式

Flink Runtime 托管,自动存储、自动恢复、自动伸缩

用户自己管理

状态数据结构

Flink提供的常用数据结构,如 ListState、MapState 等

字节数组:byte[]

使用场景

绝大多数 Flink 算子

用户自定义算子

大部分情况下我们使用 Managed State 便可满足需求。

 

 

翻译

搜索

复制

标签:状态,Managed,Flink,实时,Raw,State,流式
From: https://www.cnblogs.com/papering/p/18459065

相关文章

  • Flutter布局(3):流式布局(Wrap、Flow)
    一、简介在Flutter中,流式布局是一种常用的布局方式,用于实现动态调整子组件位置和尺寸的需求。Flutter提供了两个流式布局的组件:Wrap和Flow。其实,Flow用的实在不多呀。二、Wrap组件Wrap组件是一种流式布局,它会自动调整和换行子组件,以适应可用空间。属性Wrap组件具有......
  • 教你如何免费获取股票数据用python、JavaScript (Node.js)、JAVA等多种语言的实例代码
    ​近一两年来,股票量化分析逐渐受到广泛关注。而作为这一领域的初学者,首先需要面对的挑战就是如何获取全面且准确的股票数据。因为无论是实时交易数据、历史交易记录、财务数据还是基本面信息,这些数据都是我们进行量化分析时不可或缺的宝贵资源。我们的核心任务是从这些数据......
  • inotifywait监控文件夹内容变化,实时异地同步
    inotifywait监控文件夹内容变化,实时异地同步1.服务器规划2.实现效果演示3.服务器初始化3.1主机名修改3.2hosts配置3.3免密认证配置3.4inotify、rsync安装3.5验证是否安装完成4.脚本1.服务器规划主机名IP描述main172.16.32.3主服务器backup172.16.32.4数据......
  • YoloDotNet v2.1:实时物体检测的利器oX
    项目介绍YoloDotNetv2.1是一个基于C#和.NET8的实时物体检测框架,专为图像和视频中的物体检测而设计。它集成了Yolov8~Yolov11模型,通过ML.NET和ONNX运行时实现高效的物体检测,并支持GPU加速(使用CUDA)。YoloDotNet不仅支持传统的物体检测,还涵盖了分类、OBB检测、......
  • 实时操作系统的了解
    1.介绍几种常见的实时操作系统RT-ThreadRTOSRT-ThreadRTOS是一款来自中国的开源实时操作系统,由RT-Thread工作室的专业开发人员开发、维护。诞生于2006年ThreadXMicrosoft在2019年收购了ThreadX的所有者ExpressLogic,并将其重新命名为AzureRTOS,并于2020年在github上开源Th......
  • 深入探索Spring AI:源码分析流式回答
    在上一章节中,我们深入分析了SpringAI的阻塞式请求与响应机制,并探讨了如何增强其记忆能力。今天,我们将重点讲解流式响应的概念与实现。毕竟,AI的流式回答功能与其交互体验密切相关,是提升用户满意度的重要组成部分。基本用法基本用法非常简单,只需增加一个stream方法即可实现所需......
  • YoloDotNet v2.1:实时物体检测的利器
    项目介绍YoloDotNetv2.1是一个基于C#和.NET8的实时物体检测框架,专为图像和视频中的物体检测而设计。它集成了Yolov8~Yolov11模型,通过ML.NET和ONNX运行时实现高效的物体检测,并支持GPU加速(使用CUDA)。YoloDotNet不仅支持传统的物体检测,还涵盖了分类、OBB检测、分......
  • 【Flink 系列二十三】hudi 消失的 HIVE_CONF_DIR,HIVE 读不到 hive-site.xml 读不到
    问题现象Unabletofindconfigfilehive-site.xmlUnabletofindconfigfilehivemetastore-site.xmlUnabletofindconfigfilemetastore-site.xml本文记录这个问题是如何导致的,并记录如何向Hive、Hudi提供hive-site.xml以便正确加载。问题分析:HiveMetaStore是......
  • 【Flink系列十八】Hudi hive_sync JDO报错 Could not find API definition for name "
    问题现象Error:CouldnotfindAPIdefinitionforname"JDO".Perhapsyoudonthavetherequisitedatanucleus-api-XXXjarintheCLASSPATH?2024-10-1011:12:31,251ERRORDataNucleus.Persistence[]-Error:Co......
  • Qt/C++加载不同的地图控件/地图类型/缩放标尺/缩略图/比例尺/实时路况/全景视图等
    一、前言说明在展示地图的时候,有些常规的操作,比如调整地图的缩放级别,切换到卫星图等,希望能够在地图上直接操作实现,于是就有了一堆地图控件,可以根据自己的需求动态的添加和删除,这样就更直接更快捷,而不是通过函数去设置。几乎每个地图厂家都提供了类似的控件,尽管命名可能有些差别,常......