首页 > 其他分享 >kettle从入门到精通 第六十一课 ETL之kettle 任务调度器,轻松使用xxl-job调用kettle中的job和trans

kettle从入门到精通 第六十一课 ETL之kettle 任务调度器,轻松使用xxl-job调用kettle中的job和trans

时间:2024-05-17 22:07:50浏览次数:25  
标签:执行器 admin kettle job 任务调度 carte xxl

1、大家都知道kettle设计的job流程文件有个缺点:只能设置简单的定时任务,无法设置复杂的如支持cron表达式的job。 

今天给大家分享一个使用xxl-job调度carte的流程文件的示例。整个调度流程图如下:

 1)xxl-job-admin,页面可视化配置任务。

2)xxl-job-executor,job执行器,通过调用carte服务器api进行触发kettle job或者转换。

3)job执行器访问的carte服务可以是单体,也可以是carte集群中的master服务。

2、通过xxl-job-admin 进行配置job或者转换,主要涉及执行器和一个任务参数,今天重点讲解下任务参数,如下图所示:

 

{
    "carteIp": "127.0.0.1",//carte服务器地址
    "cartePort": "9088",//carte服务器端口
    "carteUsername": "admin",//carte服务器用户名
    "cartePassword": "admin",//carte服务器密码
    "rep": "local",//kettle文件仓库
    "name": "转换文件名称",//job或者转换的文件名称
    "level": "Basic",//日志执行级别
     "sync":false//调用carte api接口 是否等待返回值,true为同步调用,fasle为异步调用
}

 3、xxl-job-executor 配置好,服务启动之后在xxl-job-admin里面执行器管理页面可以看到执行器信息,如下图所示:

 4、根据上面参数介绍可以配置多个转换或者job的任务,如下图所示:

 

标签:执行器,admin,kettle,job,任务调度,carte,xxl
From: https://www.cnblogs.com/zjBoy/p/18188577

相关文章

  • Springcloud学习笔记67--springboot 整合 任务调度框架Quartz
    1.背景定时任务Job的作业类中无法注入Service等由Spring容器所管理的Bean。例如下面这种情况,TaskCronJobService就无法成功注入。importjava.util.Iterator;importjavax.annotation.Resource;importorg.quartz.Job;importorg.quartz.JobExecutionContext;importor......
  • 使用kettle同步数据
    如果这篇文章能给你带来帮助,不胜荣幸,如果有错误也请批评指正。共同学习一块进步。题外话:进入了2024.我决定做什么事都要持之以恒,首先是按时学习,按时记笔记,按时复习巩固。刚才看了一下,上年就想写出来,结果没有实现的。今年要好好处理一下这个事! 太多了。好多东西觉得是个知......
  • ElasticJobUI
    进入ElasticJob官网ElasticJob官网官网ElasticJobUI使用手册点击下载mac启动打开iterm,进入下载的包目录,运行chomod+x./start.sh./start.sh启动后,会显示日志文件路径cat日志文件路径端口8088,本地访问地址http://localhost:8088账号密码都是root登录后,添......
  • kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据,so easy!
    1、kettle原生是支持for循环处理的,无需通过javascript脚本或者java脚本开发for循环控制。当然如果想通过脚本挑战下也是可以的。本节课主要讲解如何通过kettle中的job来实现for循环控制,如下图所示:1)步骤【设置变量】设置单个job级别的变量。2)步骤【转换】加载数据集清单列表,返......
  • 自己动手实现一个轻量无负担的任务调度ScheduleTask
    至于任务调度这个基础功能,重要性不言而喻,大多数业务系统都会用到,世面上有很多成熟的三方库比如Quartz,Hangfire,Coravel这里我们不讨论三方的库如何使用而是从0开始自己制作一个简易的任务调度技术栈用到了:BackgroundService和NCrontab库第一步我们定义一个简单的任务约定......
  • 从0到1,百亿级任务调度平台的架构与实现
    文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪......
  • Cron表达式-任务调度
    当我们谈论任务调度时,cron(Cron表达式)是一种非常常见和常用的方式。它是一种用于在特定时间间隔内定期执行任务的调度表达式。cron表达式由6个字段组成,分别代表分钟、小时、日期、月份、星期几和要执行的命令或脚本。下面是cron表达式的每个字段的含义:09***command分钟(0-5......
  • 在Linux中,如何使用cron进行任务调度?
    Cron是Linux系统中用于任务调度的一个强大工具,它允许用户安排命令或脚本在特定的时间周期性地自动执行,无需用户干预。Cron作业可以按分钟、小时、日期、月份、星期几来设置执行时间。以下是使用cron进行任务调度的基本步骤:1.编辑Crontab文件Crontab(crontable)文件包含了所有计......
  • kettle从入门到精通 第五十九课 ETL之kettle 邮件发送多个附件,使用正则轻松解决
    问题场景:一个朋友说他用kettle将生成好的多个文件(a.xls和b.xls,文件在data目录下)发送给客户,但是data目录下还有其他的文件,他如果指定data目录发送会把data目录下面的所有文件都作为附件进行发送,显然不符合要求,所以他当时的临时解决方法是创建个临时目录,里面只放a.xls和b.xls两个......
  • 速度围观|使用分布式企业级任务调度平台,到底有多香?
    任务调度平台是关键的软件基础设施,专门设计用于自动化、高效和可靠地安排及执行预定的后台任务。谷歌云首席决策工程师KasimKhan曾提到:“在云计算环境中,自动化和效率是关键。”任务调度平台通过优化资源使用和集中管理功能,提供了一系列强大的调度策略、执行管理、监控报警和开发......