首页 > 其他分享 >倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

时间:2023-02-14 14:12:14浏览次数:57  
标签:插件 2022 开源 添加 ChunJun https 2023

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。

项目地址:https://github.com/DTStack/chunjun

ChunJun 项目进展

Star数:3437 Fork数:1556

Issue Closed:764 PR Cloesd:523

Contributors:68 Commits:5147

ChunJun 内容输出

视频课程:共计15课

涵盖直播课程、入门指南、解决方案等方方面面

精品文章:共计18篇

带你快速了解chunJun

技术社群:3898人

已成为大量开发者及大数据爱好者的交流学习平台

ChunJun 奖项荣誉

入选Gitee最有价值开源项目——GVP

file

2022 ChunJun大事记

送虎岁,迎兔年,值此除旧迎新之际,想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展:

2022年2月22日

沉淀了团队六年来在数据同步和集成方面的实践经验,技术团队决定对FlinkX进行整体升级,并更名为ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架

2022年5月28日

ChunJun社区第一次会议,讨论当前第一个版本的roadmap规划,首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数,让用户快速启动;增加 Docker 部分,用户直接下载Docker 镜像,开箱即用等。

2022年6月25日

开源小伙伴贡献的官网内容正式发布。

官网地址:https://dtstack.github.io/chunjun/

2022年7月9日

ChunJun社区第二次会议,讨论当前第二个版本的roadmap规划。

2022年9月18日

ChunJun社区第三次会议,讨论当前第三个版本的roadmap规划,调整 pr review & merge 规范和流程。

2022 ChunJun活动

2022年8月27日

联合OceanBase社区主办开源线下Meetup,发布基于Oceanbase 的离线插件和cdc 插件,并推出联合方案

file

2022年9月24日

参与Hadoop MeetUp,分享ChunJun在实时采集上的功能和新特性。

file

2022年10月29日

联合举办 COSCon'22 开源年会杭州分会场,分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。

file

2022 ChunJun精品课程

2022年4月27日

课程:ChunJun支持异构数据源DDL转换与自动执行

视频链接:https://sourl.cn/i9CzDP

2022年6月27日

课程:ChunJun数据还原-DDL功能模块解析

视频链接:https://sourl.cn/ffwtMc

2022年7月6日

课程:ChunJun同步Hive事务表

视频链接:https://sourl.cn/fbaWgD

2022年8月19日

课程:ChunJun数据传输模块介绍

视频链接:https://sourl.cn/iLY7vn

2022年9月22日

课程:ChunJun类加载原理与实现

视频链接:https://s.r.sn.cn/WCWURr

2022年12月9日

课程:ChunJun数据安全之Kerberos介绍

视频链接:https://s.r.sn.cn/Nix84z

2022 ChunJun研发进展

共发布七个版本:

V1.12.1

· 核心数据还原功能框架开发完成,增加了binlog/logminer 对 DDL 的监听处理;

· 丰富插件,添加Doris 插件;

· 添加ChunJun 对 Flink python udf 的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.2

· 丰富插件, 添加 inceptor插件;

· 丰富插件,添加 influxdb插件;

· 代码优化,使用插件 spotless-plugins强制对代码风格进行检查;

· es 插件优化,支持 ssl模式;

· gbase 插件优化,支持 update模式;

· k8s 模式下添加对 application mode支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.3

· 丰富插件, 添加 starrocks插件;

· 增量同步支持 datetime类型;

· SQLserver cdc增加对数据类型 smallint的支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.4

· 丰富插件,添加 oceanbase插件;

· 数据还原功能加强,添加中间数据存储,避免数据丢失;

· 项目名称调整,从 FlinkX修改为 ChunJun;

· 插件优化,调整 inceptor插件的读取方式,从原来的 jdbc调整为直接读取文件;

· 插件优化,pg读取插件支持 Array类型;

· 增加对 protobuffer format的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.5

· 数据同步 jdbc分片优化,添加对 range mode的支持,原先只支持 mod模式分片;

· 易用性提升,添加内置提交脚本,在不同模式下任务提交需要传入的参数,只需要传递 -job和 -confProp即可;

· ChunJun增加一个模块,准备用于发布安装包;

· 稳定性提升,修复ChunJun 15+ bug。

V1.12.6

· 优化 ChunJun数据同步的序列化方式;

· ChunJun 添加新的官网,方便社区同学了解阅读文档及技术方案;

· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis读取插件;

· docker模式的支持,并添加执行脚本和文档;

· jdbc 插件增强,添加在执行前检查 dbconn;

· hbase 插件优化和重构,支持 transformer;

· ChunJun 工程支持E2E 功能;

· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储;

· 稳定性提升,修复ChunJun 30+ bug。

V1.12.7

· 优化 jdbc base模块,添加对列信息的初始化功能

· 优化 ftp读取性能,添加对大文件切片的支持;

· hdfs 插件优化,支持 hadoop3.x 版本 orc读取;

· e2e 功能丰富,添加 ftp container;

· es7 插件优化,支持 type关键字;

· 稳定性提升,修复ChunJun 30+ bug。

2023年的ChunJun

ChunJun未来规划

· 依赖 Flink版本升级到1.16;

· ChunJun 提供Rest api 的server 服务,简化ChunJun 集成的难度;

· ChunJun 添加数据还原DDL支持Iceberg、Hudi。

兔年祝福

2022年,感谢 ChunJun社区小伙伴们的大力支持,ChunJun走的每一步都离不开你们的帮助,2023年,我们继续交流,一起进步。

也祝福大家在新的一年里兔飞猛进,快乐,幸福~

标签:插件,2022,开源,添加,ChunJun,https,2023
From: https://www.cnblogs.com/DTinsight/p/17119393.html

相关文章

  • 2022.2.14 每日十题
    一个组织正在采用敏捷的思维方式。在第一个敏捷项目中,项目经理面临一个问题,因为团队不能及时做出决定。项目经理应该怎么做来解决这个问题?A.为新的组织政策下的决策制定......
  • 巨杉数据库荣获2022年度21世纪全国创新公司50强殊荣
    巨杉数据库凭借在数据库以及金融科技领域的持续技术深耕以及赋能数字化转型的突出表现,成功入选由南方财经全媒体集团主办的“21世纪(全国)创新公司50强:MIC50”榜单。近期,21......
  • C/C++产品销售统计系统[2023-02-14]
    C/C++产品销售统计系统[2023-02-14]题目15: 产品销售统计一家公司生产五种产品,每种产品在一个月内每周的生产数量和销售价格都要记录下来。下面是一个二维的表格,表格的每......
  • Xmind2022安装教程
    第一步卸载1.右键卸载掉原有Xmind8   第二步安装1.将压缩文件解压2.双击运行“XMind2022.exe”3.应用程序会自动安装软件,稍等一下 4.点击右上角的......
  • C/C++图书入库管理系统[2023-02-14]
    C/C++图书入库管理系统[2023-02-14]题目21图书入库管理系统【说明及要求】实现图书信息(书号、书名、作者、定价、数量)的新增、修改、删除和查询功能;实现入库信息(书......
  • C/C++便条管理系统[2023-02-14]
    C/C++便条管理系统[2023-02-14]便条管理系统某公司有四个销售员(编号:1-4),负责销售五种产品(编号:1-5)。每个销售员都将当天出售的每种产品各写一张便条交上来。每张便......
  • 切图网2023年改版
    切图网2023年改版,对整体风格进行了调整,更加简约。其实我们每年都会给网站进行改版,这次也是情理之中,其中用到了数字滚动插件countUp,图片预加载lazyload、滑块效果插件swiper......
  • 送你一份2023Java学习路线,按图索骥,开启一路狂飙!
    新年正月进入尾声,二月的脚步已经临近。该学习的学习、该努力的努力,改立的目标还是要立,送你一份2023Java学习路线,按图索骥,开启一路狂飙。No.1 初探Java/JavaSE基础技术入......
  • 2023年2月14日学习Linux
    关闭Linux系统的命令:init02)Linux终端:Linux终端也称为虚拟控制台。Linux终端采用字符命令行方式工作,用户通过键盘输入命令,通过Linux终端对系统进行控制。3)切换虚拟终端......
  • 2023-02-14 Apps targeting Android 12 and higher are required to specify an expli
    新建android项目,选择basicactive一项,在跑模拟器的时候,报错。解决方案:找到AndroidManifest.xml文件,在<activity里面添加一行属性 android:exported="true"详情Gpt给出......