首页 > 其他分享 >大数据计算引擎

大数据计算引擎

时间:2023-10-02 23:22:25浏览次数:34  
标签:Flink Hadoop 流式 TEZ 引擎 计算 数据

大数据计算引擎:从Hadoop到Flink
=========================

大数据计算引擎,根据使用场景和数据处理方式,可以分为批量计算、流式计算和图计算三大类。其中,Hadoop是奠定了所有计算框架的基石,虽然数据吞吐量大,但离线处理速度较慢。TEZ是有向无还图图计算引擎,虽然支持DAG,但是其复杂度较高,时间延迟在秒级甚至毫秒级,且不支持SQL。流式计算引擎Flink则是在Hadoop和TEZ的基础上,为流式计算而设计,既可以做离线分析,又可以流式处理,并且支持SQL。

TEZ:第二代计算引擎,大有不同
========================

TEZ,第二代计算引擎,是有向无还图(DAG)结构,虽然支持DAG,但是其复杂度较高,时间延迟在秒级甚至毫秒级,且不支持SQL。与Hadoop和Spark不同的是,TEZ专注于离线处理,致力于为数据分析和决策提供更加高效的方式。

Flink:第三代计算引擎,流式计算的利器
=========================

流式计算引擎Flink,出生在大数据时代,专为流式数据处理而设计,支持离线分析和流式处理,同时支持SQL。它将流式处理推向了新的高度,相比于TEZ更加灵活和强大,弥补了Hadoop和Spark在某些场景的不足。Flink的微批次处理技术和流式 SQL 查询能力,使得其成为流式计算的利器,能够应对物联网、金融行业、视频直播和电商等行业的实时数据处理需求。

标签:Flink,Hadoop,流式,TEZ,引擎,计算,数据
From: https://www.cnblogs.com/kdy666/p/17740559.html

相关文章

  • 计算机初级选手的成长历程——扫雷详解
    大家好,很高兴又和大家见面啦!在上一篇内容中,我们详细介绍了三子棋的编写思路,相信大家在阅读完上一篇后对相关的知识点及其运用也有了相应的提升。下面我们就来开始介绍今天的内容——扫雷。扫雷游戏介绍游戏规则扫雷的游戏规则很简单。盘面上有许多方格,方格中随机分布着一些雷。你的......
  • openGauss学习笔记-87 openGauss 数据库管理-内存优化表MOT管理-内存表特性-使用MOT-M
    openGauss学习笔记-87openGauss数据库管理-内存优化表MOT管理-内存表特性-使用MOT-MOT使用简单概述使用MOT非常简单,以下几个小节将会进行描述。openGauss允许应用程序使用MOT和基于标准磁盘的表。MOT适用于最活跃、高竞争和对吞吐量敏感的应用程序表,也可用于所有应用程序的表。......
  • springMVC数据校验
    应用程序在执行业务逻辑前,必须通过数据校验保证接收的输入数据时正确合法的。1.JRS303  2.@Valid校验注解(获取校验结果)DepositDto.java1@Data2@AllArgsConstructor3@NoArgsConstructor4publicclassDepositDto{5@NotEmpty(message="账号不能为......
  • SQLite学习笔记——创建数据库和SELECT,INSERT语句
    SQLite创建数据库我们可以直接使用sqlite3DatabaseName.db来创建数据库,这时候我们就会发现同一目录下出现了对应的.db文件或者我们可以先启动sqlite3然后在里面使用点命令.openDatabaseName.db来创建数据库,如果已经存在对应的数据库,那么我们默认就会打开该数据库。......
  • [数据结构和算法] 堆/优先队列的实现
    预备知识:完全二叉树可以用数组表示:从下标0开始存储数据:左子节点=2*父节点+1,右子节点=2*父节点+2;从下标1开始存储数据:左子结点=2*父节点,右子节点=2*父节点+1;堆:大根堆:父节点的值大于等于左右子节点的值;小根堆:父节点的值小于等于左右子节点的值;......
  • 2023-2024-1 20231305《计算机基础与程序设计》第一周学习总结
    2023-2024-120231305《计算机基础与程序设计》第1周学习总结作业信息这个作业属于哪个课程<班级的链接>(如2022-2023-1-计算机基础与程序设计)这个作业要求在哪里<作业要求的链接>(如2022-2023-1计算机基础与程序设计第一周作业)这个作业的目标<快速浏览一遍教材计......
  • 【数据结构】2.栈和队列
    1.栈1.1栈的抽象父类#pragmaoncetemplate<classT>classStack{public://析构函数virtual~Stack(){}//栈是否为空virtualboolempty()const=0;//栈的大小virtualintsize()const=0;//栈顶元素virtualT&top()=0......
  • 数据库-MySQL-02 下
    2.多表设计关于单表的操作(单表的设计、单表的增删改查)我们就已经学习完了。接下来我们就要来学习多表的操作,首先来学习多表的设计。项目开发中,在进行数据库表结构设计时,会根据业务需求及业务模块之间的关系,分析并设计表结构,由于业务之间相互关联,所以各个表结构之间也存在着各种......
  • 数据库-MySQL-03
    数据库开发-MySQL1.多表查询1.1概述1.1.1数据准备SQL脚本:#建议:创建新的数据库createdatabasedb04;usedb04;--部门表createtabletb_dept(idintunsignedprimarykeyauto_incrementcomment'主键ID',namevarchar(10)notnulluniquecomment......
  • 自定义数据类型和数据类型别名
    自定义数据类型和数据类型别名代码//example.gopackagetestimport"fmt"funcTestFunction(){ fmt.Println("自定义类型") //自定义类型mesType,它是uint16的别名 //注意:虽然mesType是uint16的别名,但是二者仍是不同类型,不能够 //相互赋值和比较,需要进行类型转换 //......