容错设计
服务器戎机容错
master容错
依赖于zk的watcher机制，实现原理
其中master监控其他master和worker的目录，如果监听到remove事件，根据具体业务逻辑进行实例容错或任务实例容错
Master容错流程
Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。
worker容错
任务重试
- 任务失败重试：任务级别，调度系统自动进行的，比如一个shell任务设置重试次数为3，那么shell任务运行失败后会再多尝试运行3次
- 流程失败恢复：流程级别的，是手动进行的，恢复是只能从失败的任务节点开始执行或从当前节点开始执行
- 流程失败重跑：流程级别的，手动进行的，重跑是从最初的开始节点进行
每一个节点（task）可以配置失败重试的次数，当该任务节点失败，会自动重试。直到成功或者超过配置的次数。如果任务节点达到了最大失败次数，工作流整个失败停止。失败的工作流可以手工重跑或者流程恢复
标签：重试,流程,容错,任务,失败,设计,节点 From： https://www.cnblogs.com/PythonOrg/p/17528434.html