首页 > 其他分享 >大数据开发快速上路,传统运维升级换代

大数据开发快速上路,传统运维升级换代

时间:2022-12-07 15:12:27浏览次数:36  
标签:上路 运维 快速 任务 开发 升级换代 数据

DolphinScheduler+DataX或Chunjun

解决离线大数据任务与实时大数据任务的快速开发,部署,调度。

当然依赖于底层spark,flink,hive,hdfs等大数据基础设施,在CPU,内存等资源充足的情况下,不需要大数据运维和调优。数据量起来之后会有各种问题,要求就更深入了。

但是作为大数据入门框架,或者大数据生产开发最小集,完全满足了大部分业务场景。

对于传统运维,各种shell任务,sql任务,无法量化,体现不出岗位价值,通过平台可以提升开发能力,大数据能力,综合能力,可谓一举多得。

为开源点赞!!

标签:上路,运维,快速,任务,开发,升级换代,数据
From: https://www.cnblogs.com/xieqisheng666/p/16963109.html

相关文章