首页 > 其他分享 >kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据,so easy!

kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据,so easy!

时间:2024-05-15 16:31:37浏览次数:27  
标签:转换 处理 步骤 kettle job 循环 so 第六十

1、kettle原生是支持for循环处理的,无需通过javascript脚本或者java脚本开发for循环控制。当然如果想通过脚本挑战下也是可以的。

本节课主要讲解如何通过kettle中的job来实现for循环控制,如下图所示:

1)步骤【设置变量】设置单个job级别的变量。

2)步骤【转换】加载数据集清单列表,返回一个dataList。

3)步骤【转换】处理当条数据,此步骤也是今天要讲解的重点步骤。

2、步骤【转换】处理当条数据,要想循环处理list中的每一条数据,一定要勾选“执行每一个输入行”,如下图所示:

 3、步骤【设置变量】这一步根据业务场景可以选择是否添加,如果后面两个步骤都需要用到变量的话,可以添加设置变量。

 4、加载数据清单子转换如下,通过自定义常量步骤生成两条数据,复制纪录到结果可以将结果传递到下个步骤。

5、单条处理子转换如下,通过自定义常量步骤生成两条数据,从结果获取纪录可以将上一步结果传递到当前步骤。

6、不通过job,单独通过转换也可以实现for循环控制,如下图所示:

 7、转换和job中的单条处理设置大同小异,转换时设置Row grouping中的Number of rows to send transformation为1。

 留个悬念:这个参数也会涉及到性能调优,大家可以尝试下,欢迎评论区讨论。

标签:转换,处理,步骤,kettle,job,循环,so,第六十
From: https://www.cnblogs.com/zjBoy/p/18187256

相关文章

  • 去除两个JSON对象集合中的重复数据
    在jQuery中,要去除两个JSON对象集合中的重复数据,你通常需要比较这两个集合中对象的特定属性来决定是否重复。以下是一个基本的方法,假设我们根据每个对象的id属性来判断是否重复,并且我们将结果保存到第一个集合中,去除掉与第二个集合中重复的项://假设这是你的两个JSON对象集合var......
  • 【Linux命令学习】lsof查看打开的文件
    lsof:listopenfiles作用1:可查端口号被哪个进程占用比如我们跑自动化,经常会遇到端口号被占用,无法启动driverlsof-i:8081lsof输出的结果含义:fd:文件描述符的数字,通常是一个正整数。filedescriptortype:文件描述符的类型,如 REG 表示普通文件,DIR 表示目录,CHR 表示字......
  • Laravel Resource Routes和API Resource Routes讲解
    在Laravel中,ResourceRoutes和APIResourceRoutes是两种用于定义RESTful路由的便捷方法。它们帮助开发者快速创建遵循RESTful标准的路由集合,分别适用于普通Web应用和API应用。ResourceRoutesResourceRoutes是为传统的Web应用设计的,它们生成了一组常见的CRUD......
  • UnpooledDataSource类
    UnpooledDataSource每次实时获取connection核心流程UnpooledDataSource#getConnection(java.lang.String,java.lang.String)->UnpooledDataSource#doGetConnection(java.lang.String,java.lang.String)设置props.setProperty("user",username);props.setProperty......
  • socket
    Socket层【一】Scoket层在哪还是用图来说话,一目了然。【二】什么是socketSocket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面对用户来说,一组简单的接口就是全部,让Socket去......
  • lesson6
    单词smashandgrabn砸窗抢劫shatterv粉碎shatterthewindowshatteronesdream/hope/confidencegrabv一把抓住夺过来muggern抢劫犯seizev抢劫jewelleryn珠宝不可数jewel可数scene可数scenery不可数staffn全体工作人员teaching/domestic(家庭内)......
  • HTTP请求使用http、socks代理demo,包含有认证和无认证
    packagecn.daenx.myadmin.email.utils;importcn.hutool.http.HttpRequest;importcn.hutool.http.HttpUtil;importjava.net.*;/***HTTP请求使用http、socks代理demo,包含有认证和无认证**@authorDaenMax*/publicclassHttpProxyReqDemo{publicstatic......
  • How to Solve VAS 6154 Interface License Expired: Unleash Your Automotive Diagnos
    WelcometoourcomprehensiveguideonresolvingtheVAS6154InterfaceLicenseExpiredissue.Ifyou'reanautomotiveenthusiastorprofessional,chancesareyou'veencounteredthisfrustratingproblemduringyourdiagnosticendeavors.Butfret......
  • 实验8-tensorboard
    VMware虚拟机Ubuntu20-LTSpython3.6tensorflow1.15.0keras2.3.1运行截图:   代码:实验8-1tensorboard可视化importtensorflowastf#定义命名空间withtf.name_scope('input'):#fetch:就是同时运行多个op的意思input1=tf.constant(3.0,name='A')#定义名......
  • 实验6-使用TensorFlow完成线性回归
    VMware虚拟机Ubuntu20-LTSpython3.6tensorflow1.15.0keras2.3.1运行截图:  代码: %matplotlibinlineimportnumpyasnpimporttensorflowastfimportmatplotlib.pyplotaspltplt.rcParams["figure.figsize"]=(14,8)n_observations=100xs=np.li......