首页 > 其他分享 >flink的发展历程

flink的发展历程

时间:2024-09-25 20:01:12浏览次数:1  
标签:flink 发展 Flink 发布 开源 Apache 2014 Spark 历程

Apache Spark和Apache Flink都是开源的分布式大数据处理框架,它们各自有着不同的特点和发展历程。
Apache Spark:
起始时间:2009年,由加州大学伯克利分校AMPLab开发 。
开源时间:2010年,Matei Zaharia将其开源 。
主要发展:
2013年,成为Apache基金项目 。
2014年,成为Apache顶级项目 。
2016年,发布Spark 2.0,增强了结构化流处理和机器学习功能 。
2020年,发布Spark 3.0,引入了更多的SQL功能和Python中的分布式Pandas(Koalas)支持 。
Apache Flink:
起始时间:最初是德国柏林工业大学的研究性项目Stratosphere,目标是建立下一代大数据分析引擎 。
开源时间:
2014年4月16日,Stratosphere成为Apache孵化项目,并正式更名为Flink 。
2014年8月26日,Flink 0.6发布 。
2014年11月4日,Flink 0.7.0发布,推出最重要的特性:Streaming API 。
2016年3月8日,Flink 1.0.0发布,流处理基础功能完善,支持Scala 。
2019年8月,阿里巴巴开源Blink,后来合并到Flink中 。
2020年7月6日,Flink 1.11.0发布,从Flink1.11开始,Blink planner是Table API/SQL中的默认设置 。
2022年,Flink继续发布新版本,改进批和流的状态管理机制,优化checkpoint机制 。
两个框架各有优势,选择哪个框架取决于具体的业务需求。Spark以其易用性、丰富的生态系统和高效的处理引擎获得了大数据领域的认可。而Flink则以其低延迟的流处理能力和状态管理而闻名。

标签:flink,发展,Flink,发布,开源,Apache,2014,Spark,历程
From: https://www.cnblogs.com/ganmk--jy/p/18432088

相关文章

  • Day1 c++(发展历史,特点,面向对象核心术语,开发环境,新建项目,引用,窄化,输入,字符串,函数)
    1.C++发展历史(了解)1983年,贝尔实验室(BellLabs)的BjarneStroustrup发明了C++。C++在C语言的基础上进行了扩充和完善,是一种面向对象程序设计(OOP)语言。Stroustrup说:“这个名字象征着源自于C语言变化的自然演进”。还处于发展完善阶段时被称为“newC”,之后被称为“Cwi......
  • 架构师日记-从数据库发展历程到数据结构设计探析
    一数据库发展史起初,数据的管理方式是文件系统,数据存储在文件中,数据管理和维护都由程序员完成。后来发展出树形结构和网状结构的数据库,但都存在着难以扩展和维护的问题。直到七十年代,关系数据库理论的提出,以表格形式组织数据,数据之间存在关联关系,具有了良好的结构化和规范化特......
  • 盲盒经济时代,小程序为市场带来创新发展模式
    随着科技的发展,盲盒逐渐向线上发展,借助数字化技术,让消费者在手机上体验拆盲盒,更加便利也能增加消费者的兴趣。在数字化发展中,还能帮助企业形成完整的销售模式,通过大数据等技术,对消费者进行数据分析,了解消费者的盲盒喜好、消费频率等,掌握当下市场发展方向,获得市场份额。线上盲盒小程......
  • Flink(一)概述
    Flink概述ApacheFlink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算Flink特点事件驱动(Event-driven)事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作比较典型的就是以kafka为代表的消......
  • 架构师日记-从数据库发展历程到数据结构设计探析
    一数据库发展史起初,数据的管理方式是文件系统,数据存储在文件中,数据管理和维护都由程序员完成。后来发展出树形结构和网状结构的数据库,但都存在着难以扩展和维护的问题。直到七十年代,关系数据库理论的提出,以表格形式组织数据,数据之间存在关联关系,具有了良好的结构化和规范......
  • 中年被裁,记录下这段时间的心路历程,内含前端面试题和面经
    前言真正的转变都是痛苦且无声的。大家好啊,好久不见,停更了一个月了,最近确实没时间更新我的公益服游戏,这段时间我经历了工作被裁员,学习复习,面试找工作,到最终找到工作。想把这段时间我的心路历程和面试题面经分享出来,说不定可以帮到你。心路历程坐标天津,从事互联网前端开发工作,......
  • 开户许可证识别接口助力企业高效发展
    在当今数字化、信息化的浪潮中,企业的运营效率与智能化工具的使用密不可分。作为企业重要凭证之一,开户许可证的准确识别和快速处理对于企业日常业务至关重要。为了满足市场对自动化处理开户许可证信息的需求,许多第三方平台,例如翔云、阿里云等推出了开户许可证识别接口,为企业提......
  • 利用 Flink CDC 实现实时数据同步与分析
    1.概述1.1简要介绍什么是FlinkCDC(ChangeDataCapture)FlinkCDC(ChangeDataCapture)是一种用于实时捕获和处理数据库中数据变更的技术。它通过监控数据库的变更事件,将这些事件转化为流式数据,使得数据处理系统(如ApacheFlink)能够以流的方式实时处理和分析数据。FlinkC......
  • Day03--计算机语言的发展
    计算机语言的发展机器语言第一代语言,机器语言,我们都知道计算机的基本计算方式都是基于二进制的方式,二进制:010111001010110010110100,这种代码是直接输入给计算机使用的,不经过任何的转换!汇编语言第二代语言汇编语言解决人类无法读懂机器语言的问题指令代替二进制......
  • AI大模型知识点梳理:大模型是什么?大模型发展历程、底层原理、优点和不足、如何学习大模
    一、AI大模型是什么AI大模型是指具有巨大参数量的深度学习模型,通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力,从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。AI大模型的定义具体可以根据参数规模来分类。根据OpenAI的分类方法,可以......