ETL简介
ETL,
Extract-Transform-Load
的缩写,即数据抽取、转换、装载的过程。市面上常用的ETL工具有很多,比如Sqoop,DataX,Kettle,Talend等。
Kettle简介
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle允许管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,
transformation
和job
,transformation
完成针对数据的基础转换,job
则完成整个工作流的控制。Kettle现在已经更名为PDI,
Pentaho Data Integration-Pentaho
数据集成
transformation 和 job的区别
作业(job)是步骤流,转换(transformation)是数据流。这是作业和转换的最大的区别。
作业(job)的每一个步骤,必须等到前面的步骤都跑完了,后面的步骤才会执行;而转换(transformation)会一次性把所有控件全部先启动(一个控件对应启动一个线程),然后数据流会从第一个控件开始,一条记录、一条记录地流向最后的控件。
标签:控件,简介,Kettle,job,概述,transformation,ETL From: https://www.cnblogs.com/harleyblogs/p/17464915.html