简单的任务调度使用crontab、复杂的任务调度使用oozie、azkaban等开发调度系统。
一、为什么学习Azkaban
一个完整的数据分析系统通常都是由大量任务单元（shell脚本、java程序、MapReduce程序、Hive脚本等）组成。各任务单元之间存在先后及前后依赖关系，为了组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。
二、什么是Azkaban
Azkaban是由LinkedIn公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value（键值对）的方式，通过配置中的dependencies来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
三、Azkaban的特点
- 兼容各种版本的Hadoop
- 易于使用的web用户界面
- 简单的工作流上传
- 方便设置任务之间的关系
- 调度工作流
- 模块化和可插拔的插件机制
- 认证/授权（权限的工作）
- 能够杀死并重新启动任务流
- 有关失败和成功的电子邮件提醒
四、Azkaban的架构
是整个 Azkaban 工作流系统的主要管理者 负责用户登录认证、负责 project 管理、定时执行工作流、跟踪工作流执行进度等一系列任务。AzkabanExecutorServer
负责具体的工作流的提交、执行，通过 mysql数据库来协调任务的执行。关系型数据库（MySQL）
存储大部分执行流状态，AzkabanWebServer 和 AzkabanExecutorServer 都需要访问数据库。
五、Oozie和Azkaban特性对比
| 特性 | Oozie | Azkaban |
| 工作流描述语言 | XML | 键值对 |
| 是否要web容器 | ✔ | ✔ |
| 进度跟踪 | 网页 | 网页 |
| Hadoop job调度支持 | ✔ | ✔ |
| 运行模式 | daemon | daemon |
| 事件通知 | × | ✔ |
| 需要安装 | ✔ | ✔ |
| 支持的Hadoop版本 | 0.20+ | ✔ |
| 重试支持 | workflownode evel | ✔ |
| 运行任意命令 | ✔ | ✔ |
— 要养成终身学习的习惯 —
标签：执行,01,调度,Azkaban,工作,任务,概述,任务调度 From： https://www.cnblogs.com/houhuilinblogs/p/18140999