首页 > 其他分享 >Kettle

Kettle

时间:2024-01-21 17:00:26浏览次数:32  
标签:Kettle job Pentaho 数据 transformation ETL

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)。

标签:Kettle,job,Pentaho,数据,transformation,ETL
From: https://www.cnblogs.com/daitu66/p/17978026

相关文章

  • kettle从入门到精通 第三十一课 mysql 数据连接连接池配置
    无论开发应用程序还是做ETL研发,都离不开连接池的应用,如下是kettle中mysql连接池设置界面,今天重点讲解下连接池中的参数配置。defaultAutoCommit当defaultAutoCommit参数设置为true时,表示连接会自动提交每个单独的SQL语句,这意味着每个语句都将被当作一个独立的事务自动提交......
  • Mac M2 KETTLE 请求HTTPS接口 SSL 证书错误
    获取证书安装证书sudo/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home/jre/bin/keytool-import-aliascarpooling-keystore"/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home/jre/lib/security/cacerts"-file/Users/jimog......
  • Kettle用查出来的数据自动创建表
    Kettle在表输入的时候,写好很复杂的SQL,有种场景,就是想把这个很复杂的查出来的数据,自动创建一个表。其实,操作步骤不复杂。跟着我来做就是了。1,新建表输出,Shift按住,从表输入拖动箭头到表输出,打开表输出属性,指定数据库,输入需要创建的目标表名。2,点击右下角SQL,自动出来创建表的语句。......
  • kettle从入门到精通 第三十课 mysql 数据连接常用配置
    1、我们平常用的最多的数据库就是mysql了,这里我以mysql为例说下数据库连接池配置。为啥要用连接池,因为数据库建立连接很费性能,所以就建立连接池(提前建立好一批连接)缓存起来提高性能。下图中mysql的设置参数,提前是需要把mysql的jar(如mysql-connector-java-8.0.20.jar)放到kettle文......
  • 利用Kettle按需分发邮件
    一、需求:全量数据发送给A邮箱,再把各个供应商的数据发送给各个供应商的邮箱全量数据发送到a邮箱b的数据发送b邮箱c的数据发送c邮箱d的数据发送d邮箱二、实现思路:从全量的Excel里根据name字段保存成每个对应名字的Excel文件,再把各个Excel文件发送到对应的邮箱提前准备两个Exce......
  • Kettle用查出来的数据自动创建表
    ​Kettle在表输入的时候,写好很复杂的SQL,有种场景,就是想把这个很复杂的查出来的数据,自动创建一个表。其实,操作步骤不复杂。跟着我来做就是了。1,新建表输出,Shift按住,从表输入拖动箭头到表输出,打开表输出属性,指定数据库,输入需要创建的目标表名。2,点击右下角SQL,自动出来创建表的......
  • kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
     1、前面文章有学习过Transformationexecutor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformationexecutor步骤,最后Speed列表示处理速......
  • kettle从入门到精通 第二十四课 kettle 部署生产常用命令
    一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integrationvi~/.bash_profileexportKETTLE_HOME=/xxx/data-integration/configsource~/.bash_profileecho$KETTLE_HOME二、启动carte命令1、cd/xxx/data-integration./carte.sh./pw......
  • Mac M2 启动 kettle web 服务 cart
    查看本地资料库配置<?xmlversion="1.0"encoding="UTF-8"?><repositories><connection><name>dses_etldb</name><server>10.132.81.199</server><type>MYSQL</type><access&g......
  • kettle组件控制操作MySQL
    使用kettle执行脚本:然后保存执行实现以下效果;转换参数:实现变量转换:deletefromtestwhereuserid='${userid}';实现效果:100被删除......