首页 > 其他分享 >kettle从入门到精通 第八十二课 ETL之kettle kettle中的【阻塞数据直到步骤都完成】使用教程

kettle从入门到精通 第八十二课 ETL之kettle kettle中的【阻塞数据直到步骤都完成】使用教程

时间:2024-08-02 14:29:00浏览次数:12  
标签:教程 副本 步骤 kettle 阻塞 复制 日志 ETL

 1、在使用步骤【阻塞数据直到步骤都完成】(英文为Block this step until steps finish)之前,我们先来了解下什么是 Copy Nr?

 Copy Nr是指 “副本编号” 或 “拷贝编号”,也就是下图中的复制的记录行数,图中的两个步骤复制的记录行数都是0,表示只有一个副本。

  2、写日志步骤右键改变开始复制的数量,这里我们设置为3,如下图所示:

 3、保存&运行,步骤度量tab中写日志步骤一个有三个副本在运行,Copy nr 分别为0、1、2,每个副本会根据前置步骤的数据发送策略处理输入的数据,如下图所示:

 4、言归正传,我们继续研究步骤【阻塞数据直到步骤都完成】,该步骤可以阻塞一个或者多个步骤的一个或者多个副本,直到所有副本都处理完毕之后才会处理步骤【写日志-done】,如下图所示:

注:图中的复制次数就是指的是副本的数量,写日志步骤的副本是3,所以若要阻塞写日志步骤,监视下面的步骤里面设置3条数据,复制次数分别是0、1、2。

 5、保存&运行,可以看到转换正确执行,先执行三个步骤写日志副本,然后再执行写日志-done步骤,如下图所示:

 6、若复制次数填写3或者以上则会出错,所以这里复制次数是从0开始的,不是从1开始。如下图所示:

 7、将第一个转换复制一份,写日志2步骤这里设置2个副本。步骤【阻塞数据直到步骤都完成】同时阻塞步骤【写日志】和步骤【写日志2】,依然可以正常运行,如下图所示:

 总结:

1、Copy Nr 是 Kettle/PDI 中用于标识不同步骤副本的编号,主要用于支持并行处理和管理多个副本。在设计数据转换或作业时,合理设置和管理这些副本,可以提升数据处理的效率和灵活性。

 2、阻塞步骤【阻塞数据直到步骤都完成】可以阻塞一个或者多个步骤的1个或者多个副本。副本次数是从0开始计数而不是1。

标签:教程,副本,步骤,kettle,阻塞,复制,日志,ETL
From: https://www.cnblogs.com/zjBoy/p/18335883

相关文章

  • SPONGE常用教程:蛋白+配体模拟3
    前序课程1前序课程2目录应用场景简述;-[Done]DSDP:蛋白-配体对接;-[Done]XPONGE:蛋白-配体建模,加溶剂;-[Done]SPONGE:能量极小化-NVT-NPT-正式模拟;-[Done]XPONGE:数据简单后处理。5.XPONGE:数据简单后处理经过1ns的SPONGE分子动力学模拟,得到了轨迹文件"mdcrd.dat......
  • 功能强大的电路设计与仿真软件Multisim 14.3安装教程
    一款功能强大的电路设计与仿真软件Multisim是一款强大的电子电路仿真软件,广泛应用于电子工程和教育领域。本教程全面细致地解析了原理图设计、电路仿真以及虚拟仪器测试等核心功能,通过友好易学的界面设计,为用户打造了一款高效便捷的电路设计和分析工具,助您轻松掌握电路设计的精髓......
  • wps 最新 2019 专业版 下载安装教程,解锁全部功能,免费领取
    文章目录前言软件介绍软件下载安装步骤激活步骤小福利(安卓APP)软件介绍软件下载安装步骤前言本篇文章主要针对WPS的安装下载进行详细讲解,软件已激活,可放心使用;并且可以进行账号登录,进行云文档存储、编辑、分享,所有vip功能均可使用;没有限制;有任何问题可以在评论区讨论......
  • NVM下载、安装和配置教程-2024年6月6日
    NVM下载、安装和配置教程-2024年6月6日一、下载二、安装三、配置环境三、配置镜像源四、测试安装与使用五、nodejs配置与使用一、下载1.githubhttps://github.com/coreybutler/nvm-windows/releases这里是win系统的2.找到你想下载的版本,我这里选择的v1.1.11nvm-noinstall.zip:绿......
  • 计算机视觉库Kornia基础教程
    Kornia是一个用于计算机视觉任务的Python库,它提供了丰富的图像处理和计算机视觉操作接口。本教程将介绍Kornia的基本安装、使用方法以及一些实用的功能示例。一、引言Kornia是一个面向研究人员和开发者的计算机视觉库,它建立在PyTorch之上,旨在简化图像处理和计算机视觉任......
  • Python连接MinIO进阶教程:文件类型指定、上传与获取预览链接
    文章目录概要1.指定文件内容类型2.获取文件的预览链接(PresignedURL)使用fput_object上传文件4.完整示例与总结概要在上一篇文章中,我们介绍了如何使用Python连接MinIO服务器,并进行了基本的文件上传和下载操作。这次,我们将深入探讨一些进阶功能,包括在上传文件时指......
  • AI表情神同步!LivePortrait安装配置,一键包,使用教程
    快手在AI视频这领域还真有点东西,视频生成工具“可灵”让大家玩得不亦乐乎。现在又开源了一款超好玩的表情同步(表情控制)项目。 一看这图片,就知道是小视频平台出的,充满了娱乐性。发布没几天就已经有8000+Star。项目简介 LivePortrait是一款由快手团......
  • ollama 简易使用教程
    ollama安装Install使用以下命令安装ollama:curl-fsSLhttps://ollama.com/install.sh|sh手动安装下载ollama二进制文件:sudocurl-Lhttps://ollama.com/download/ollama-linux-amd64-o/usr/bin/ollamasudochmod+x/usr/bin/ollama添加ollama作为启动服务(推......
  • 数据库教程:从基础操作到高级应用
    数据库教程:从基础操作到高级应用大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!数据库是现代软件开发的核心组成部分之一。掌握数据库的基础操作以及高级应用技术对于开发人员而言至关重要。本文将从基础操作开始,逐步深入到数据库的高级应用,包括SQL语句......
  • Oracle数据库教程:入门到精通
    Oracle数据库教程:入门到精通大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!Oracle数据库是市场上最强大的关系数据库管理系统之一。无论是大数据分析、企业级应用还是高性能交易系统,Oracle都能提供卓越的性能和可靠性。本文将带你从Oracle数据库的基本操......