首页 > 其他分享 >DolphinScheduler

DolphinScheduler

时间:2022-10-20 14:48:30浏览次数:54  
标签:DolphinScheduler worker 参数 告警 yyyyMMddHHmmss 资源

DolphinScheduler

功能介绍
    文档:https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/metrics/metrics.html
    租户:worker.properties   worker.tentant.auto.create=true  /
        /自动创建用户,启动worker必须有免密运行sudo
    告警租管理:包含多种告警实例
    告警实例:配置多种告警消息,微信,邮件等
    worker分组管理:同一个worker可以属于多个分组的
    环境管理:export hadoop_home=/opt/hadoop/......环境变量信息
        可以配置worker组、选择一个合适环境的组
    令牌认证:通过API访问DolphinScheduler的时候
工作流
    工作流定义:定义工作流。工作流实例:工作流历史运行的记录。
    任务实例:一个工作流里面有多个任务实例,可以看日志。
工作流定义
    优先级:起作用的时候是worker资源不足的时候。
    资源:上传的资源中心的作用
    工作流级别超时告警和单个节点的超时告警
    运行的时候:必须先上线。下线状态不能运行,上线状态不能编辑。
    失败策略:继续,失败。节点失败了,并行任务应该是继续还是失败。
参数
    本地参数:针对单个任务有效的参数
    全局参数:针对整个工作流有效的参数
    自定义参数:dt(参数名称) IN(给当前任务流传递参数) OUT(给下游任务流传递参数)
        使用自定义参数 ${dt} IN VARCHAR ${YYYYMMDD}   工作流保存的时候可以设置全局变量
    给下游传递传输:(仅支持:Shell、SQL、Procedure)  
        上一个节点  echo '${setValue(bb=20200601)}'   自定义参数 bb OUT  
    参数优先级:本地参数>上游任务传递参数>全局参数    上有参数相同的时候:下游优先使用非空+完成时间最早的参数
    内置参数:${system.biz.date}定时时间前一天yyyyMMdd  ${system.biz.curdate}定时时间yyyyMMdd  
        ${system.datetime}定时时间yyyyMMddHHmmss
        日期格式:$[yyyyMMddHHmmss]分解和组合    $[add_mouths(yyyyMMddHHmmss,-3)]前三月   
        $[yyyyMMddHHmmss-5]前五天   $[HHmmss-5/24]前五个小时    $[HHmmss-5/24/60]前五分钟
文件资源
    默认会放在hdfs上,资源中心创建资源以后,就可以在固定节点上使用该资源
    直接使用资源的名称就可以。资源叫data.sh  代码里面就直接  sh data.sh 选中资源即可
#

 

标签:DolphinScheduler,worker,参数,告警,yyyyMMddHHmmss,资源
From: https://www.cnblogs.com/wuxiaolong4/p/16809782.html

相关文章

  • DolphinScheduler任务类型_SQL
    1.综述 SQL任务类型,用于连接数据库并执行相应SQL 2.创建数据源 3.创建任务 点击项目管理-项目名称-工作流定义,点击“创建工作流”按钮,进入DAG编辑页面。 工......
  • 关于DolphinScheduler
    ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案......