首页 > 其他分享 >大数据技术-Flink

大数据技术-Flink

时间:2023-03-14 20:45:58浏览次数:48  
标签:有界流 处理 Flink 技术 无界 Apache 数据

概述

Apache Flink是一个框架和分布式处理引擎,用于在无界和有界数据流上进行有状态的计算
Unbounded streams(无界流)有一个起点,但没有定义的终点。它们不会终止,而且会源源不断的提供数据。无边界的流必须被连续地处理,即事件达到后必须被立即处理。等待所有输入数据到达是不可能的,因为输入是无界的,并且在任何时间点都不会完成。处理无边界的数据通常要求以特定顺序(例如,事件发生的顺序)接收事件,以便能够推断出结果的完整性。
Bounded streams(有界流)有一个定义的开始和结束。在执行任何计算之前,可以通过摄取(提取)所有数据来处理有界流。处理有界流不需要有序摄取,因为有界数据集总是可以排序的。有界流的处理也称为批处理。

Apache Flink擅长处理无界和有界数据集。对时间和状态的精确控制使Flink的运行时能够在无边界的流上运行任何类型的应用程序。有界流由专门为固定大小的数据集设计的算法和数据结构在内部处理,从而产生出色的性能。

Flink核心四大基石

image
image

标签:有界流,处理,Flink,技术,无界,Apache,数据
From: https://www.cnblogs.com/ermao1993/p/17216269.html

相关文章

  • 数据分析学习-常用分析方法-总结二
    数据分析—常用分析方法一、5W2H分析方法5w:what(是什么)、when(何时)、where(何地)、why(为什么)、who(是谁)2h:how(怎么做)、howmuch(多少钱)案例一:如何是一款产品what:这是什么产......
  • 创建数据库表
          数据表的类型       ......
  • 【Python】数据结构:集合
    1.集合Python中的集合与数学上的集合是一致的,不允许有重复元素,而且可以进行交集、并集、差集等运算。2.创建集合#字面量方式set1={1,2,3,3,3,2}print(set1)......
  • 大数据技术-spark
    Spark是什么ApacheSpark是一个分布式、内存级计算框架,是一个大数据处理框架基本概念Application:用户编写的Spark应用程序。Driver:Spark中的Driver即运行上述Applica......
  • 数据结构-C语言
    一、基本定义1、数据数据:是对客观事物的符号表示,在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总称。数据结构:是相互之间存在一种或多种特定关系......
  • Vue监测数据改变的原理
    目录​​1.Vue数据更新却监测不到的问题​​​​2.Vue监测数据改变的原理​​​​2.1Vue是如何监测对象中数据的改变的​​​​2.2简单模拟Vue监视属性的代码​​​​2.3......
  • Google earth engine——全球森林碳通量(2001-2021)数据集可视化含代码
    全球森林碳通量(2001-2021)森林碳净通量是指2001年至2021年期间森林与大气之间的碳净交换量,计算方法是模型期间森林排放的碳与森林移除(或封存)的碳之间的平衡(兆克CO2排放量/公......
  • Mysql数据库未添加索引引发的生产事故
    最近开发的新功能主要是首页的红点提示功能,某个用户登录系统app,然后进入某一个功能模块,在该功能下面有很多地方可以操作,新功能就是根据用户信息查询当月是否存在新的......
  • 12、MySQL数据库配置
    MySQL系统数据库MySQL系统数据库主要包括以下几个:mysql数据库:用于存储MySQL的权限信息和系统变量等,包括user表、db表、host表等,这些表是管理MySQL权限的重要基础......
  • 基于交换机、智能网卡、光模块的400G数据中心网络解决方案
    400G数据中心网络市场发展迅猛,更大吞吐量的交换芯片、更高速率的光连接件、爆炸式的数据增长,在合力加速数据中心网络的发展。除此之外,随着5G的蓬勃发展和基于视频的数据传输......