首页 > 其他分享 >Flink - 概述

Flink - 概述

时间:2023-06-07 17:22:46浏览次数:49  
标签:处理 Flink 实时 概述 time 数据流 延迟

官网:https://flink.apache.org/

 

Flink 是什么

为什么选择Flink

流处理的应用场景

Flink的特点

 

 

 

 

 

 

Flink 是什么

是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布,数据通信以及容错机制等功能。

是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。

 

为什么选择Flink

流数据更真实地反映了我们的生活方式

传统的数据架构是基于有限数据集的

我们的目标:

  • 低延迟
  • 高吞吐
  • 结果的准确性和良好的容错性

 

流处理的应用场景

电商和市场营销:数据报表、广告投放、业务流程需要

物联网(IOT):传感器实时数据采集和显示、实时报警,交通运输业

电信业:基站流量调配

银行和金融业:实时结算和通知推送,实时检测异常行为

 

Flink的特点

  • 事件驱动
  • 基于流的世界观
  • 分层API
  • 支持时间时间(event-time)和处理时间(processing-time)语义
  • 精确一次(exactly-once)的状态一致性保证
  • 低延迟,每秒处理数百万个事件,毫秒级延迟
  • 与众多常用存储系统的连接
  • 高可用,动态扩展,实现7*24小时全天候运行

 

 

 

 

 

 

 

 

— loading —

标签:处理,Flink,实时,概述,time,数据流,延迟
From: https://www.cnblogs.com/harleyblogs/p/17464019.html

相关文章

  • Flink的几种Join总结
    Regularjoin组第一种:leftjoin流任务中,只要left的流数据到了,就输出。如果右边流没有到,输出[L,NULL];如果右边流到了,输出[L,R]第二种:rightjoin流任务中,只要right的流数据到了,就输出。如果左边流没有到,输出[NULL,R];如果右边流到了,输出[L,R]第三种:innerjoin流任务......
  • Spring 学习笔记(3)—— Spirng 配置概述
    Spring容器高层视图Spring启动时读取应用程序提供的Bean配置信息(XML配置文件),并在Spring容器(ApplicationContext)中生成一份相应的Bean配置注册表,然后根据这张注册表实例化Bean,装配好Bean之间的依赖关系,为上层因公提供准备就绪的运行环境。Bean元数据信息在Spring容器......
  • 特殊文件:XML概述
          ......
  • flink源码分析--RPC通信过程分析
    flink的通信框架基于akka,但是不懂akka也关系不大。首先介绍几个概念,大家记住名字和对应的作用:xxxGateway:在flink中就是一个用来告诉调用者,xxx具有哪些方法可以调用的一个接口类。比如JobMasterGateway就是用来告诉所有需要调用JobMaster的用户,我JobMaster类只有比如10个方法,假设......
  • [笔记]计算机网络_数据链路层_数据链路层概述
    大的要来力(悲)数据链路层是历年考试重点,要求在了解数据链路层基本概念的基础上,重点掌握滑动窗口机制、三种可靠传输协议、各种MAC协议、HDLC协议、PPP协议,特别是CSMA/CD协议和以太网帧格式,以及局域网的争用期和最小帧长的概念、二进制指数退避算法等等各种贵物,此外中继器、网卡......
  • flink的各个算子在收到barrier的时候会做什么
    在Flink中,各个算子(算子链中的每个算子)在收到barrier(检查点屏障)时会执行以下操作:算子状态快照:算子会触发对其状态的快照操作,以捕获当前状态的一致性快照。这包括算子的运行时状态、缓冲区或累加器等数据。处理挂起输入数据:算子会将收到的barrier后的数据挂起,不再继续处理......
  • flink中一个多输入的算子如何决定是否可以往下游算子发送barrier
    在Flink中,多输入的算子在决定是否可以往下发barrier时需要满足以下条件:输入流的barrier对齐:多输入的算子必须要求所有输入流都处于barrier对齐状态,即收到了相同的barrier。这意味着所有输入流的上游任务都已经收到了相同的barrier,并向下游发送了确认消息。所有输入......
  • flink的状态表需要保存多久
    Flink的状态表保存的时间可以根据应用程序的需求进行配置。状态表的保留时间取决于两个因素:状态后端(StateBackend)的配置:Flink支持不同类型的状态后端,如内存、文件系统、RocksDB等。不同的状态后端可以配置不同的状态保留策略。例如,如果使用基于内存的状态后端,状态表的数据通常......
  • flink从检查点恢复时候做什么
    当发生故障时,Flink从最近的一致性检查点中恢复任务的状态。以下是从检查点恢复的主要步骤:加载检查点元数据和状态数据:Flink首先加载最近一次成功的检查点的元数据和持久化的状态数据。检查点的元数据包含了关于检查点的信息,如检查点ID、生成时间和相关的任务信息等。持久化的状......
  • Active Directory 域服务概述
    工作组和域工作组(WorkGroup):工作组是一种平等身份环境,各个计算机之间各为一个独立体,不方便管理和资源共享,在高端应用中,支持度不够,发挥不了高端应用的更多功能。域(Domain):域是一种管理单元,也是一个管理安全边界。域管理员只能管理域的内部,除非其他的域显式地赋予他管理权限,他才......