DolphinScheduler+DataX或Chunjun
解决离线大数据任务与实时大数据任务的快速开发,部署,调度。
当然依赖于底层spark,flink,hive,hdfs等大数据基础设施,在CPU,内存等资源充足的情况下,不需要大数据运维和调优。数据量起来之后会有各种问题,要求就更深入了。
但是作为大数据入门框架,或者大数据生产开发最小集,完全满足了大部分业务场景。
对于传统运维,各种shell任务,sql任务,无法量化,体现不出岗位价值,通过平台可以提升开发能力,大数据能力,综合能力,可谓一举多得。
为开源点赞!!
标签:上路,运维,快速,任务,开发,升级换代,数据 From: https://www.cnblogs.com/xieqisheng666/p/16963109.html