DolphinScheduler
功能介绍
文档:https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/metrics/metrics.html
租户:worker.properties worker.tentant.auto.create=true /
/自动创建用户,启动worker必须有免密运行sudo
告警租管理:包含多种告警实例
告警实例:配置多种告警消息,微信,邮件等
worker分组管理:同一个worker可以属于多个分组的
环境管理:export hadoop_home=/opt/hadoop/......环境变量信息
可以配置worker组、选择一个合适环境的组
令牌认证:通过API访问DolphinScheduler的时候
工作流
工作流定义:定义工作流。工作流实例:工作流历史运行的记录。
任务实例:一个工作流里面有多个任务实例,可以看日志。
工作流定义
优先级:起作用的时候是worker资源不足的时候。
资源:上传的资源中心的作用
工作流级别超时告警和单个节点的超时告警
运行的时候:必须先上线。下线状态不能运行,上线状态不能编辑。
失败策略:继续,失败。节点失败了,并行任务应该是继续还是失败。
参数
本地参数:针对单个任务有效的参数
全局参数:针对整个工作流有效的参数
自定义参数:dt(参数名称) IN(给当前任务流传递参数) OUT(给下游任务流传递参数)
使用自定义参数 ${dt} IN VARCHAR ${YYYYMMDD} 工作流保存的时候可以设置全局变量
给下游传递传输:(仅支持:Shell、SQL、Procedure)
上一个节点 echo '${setValue(bb=20200601)}' 自定义参数 bb OUT
参数优先级:本地参数>上游任务传递参数>全局参数 上有参数相同的时候:下游优先使用非空+完成时间最早的参数
内置参数:${system.biz.date}定时时间前一天yyyyMMdd ${system.biz.curdate}定时时间yyyyMMdd
${system.datetime}定时时间yyyyMMddHHmmss
日期格式:$[yyyyMMddHHmmss]分解和组合 $[add_mouths(yyyyMMddHHmmss,-3)]前三月
$[yyyyMMddHHmmss-5]前五天 $[HHmmss-5/24]前五个小时 $[HHmmss-5/24/60]前五分钟
文件资源
默认会放在hdfs上,资源中心创建资源以后,就可以在固定节点上使用该资源
直接使用资源的名称就可以。资源叫data.sh 代码里面就直接 sh data.sh 选中资源即可
#
标签:DolphinScheduler,worker,参数,告警,yyyyMMddHHmmss,资源 From: https://www.cnblogs.com/wuxiaolong4/p/16809782.html