在大数据领域的加工/计算层 (MapReduce)
,涉及了繁多的工作流 workflow
,为了应对工作流的可视化、可调整、可跟踪等需求,Azkaban应运而生。
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs.Azkaban是LinkedIn创建的一个批处理工作流作业调度器,用于运行Hadoop作业。
简而言之,Azkaban即为工作流的任务调度器,姑且不论工作流的内容为何,都可视为可编排的定时任务程序
,为何需要使用Azkaban而不是自己实现一个定时任务程序呢?个人理解是,Azkaban有成熟的可信赖的:可视化的任务执行界面,可跟踪的工作流日志,易于调整的工作流设计等原因。