首页 > 其他分享 >Kettle的安装与基本使用

Kettle的安装与基本使用

时间:2024-09-18 11:24:13浏览次数:9  
标签:基本 varchar 数据库 Kettle MySQL 安装 255

什么是Kettle?

        Kettle最早是一个开源的ETL(Extract-Transform-Load的缩写)工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。是一个功能丰富的ETL工具,它允许用户轻松地进行数据抽取、转换和加载。后来Kettle重命名为Pentaho Data Integration 。它由Java开发,支持跨平台运行,Kettle是一个实现ETL开发的一款开发工具,Spoon是Kettle工具提供的图形化界面。

Kettle的核心特性

Kettle提供了一系列的特性,使其成为ETL领域的佼佼者:

  1. 直观的图形用户界面:通过拖放组件来构建数据转换流程。
  2. 丰富的插件库:支持各种数据源和目标系统。
  3. 强大的数据转换能力:提供多种数据清洗和转换操作。
  4. 可扩展性:支持自定义脚本和插件开发。
  5. 高性能:优化的数据处理引擎,支持大规模数据集。

安装JDK

因为Kettle工具是用java语言开发的,要想运行起来就必须安装jdk。

安装

百度云盘下载链接 提取码: qjyd
jdk-8u221-64bit.exe

安装过程

JDK安装配置教程-CSDN博客

安装kettle

解压kettle

百度云盘下载链接  提取码: akgv

pdi-ce-9.1.0.0-324.zip

kettle 需要解压到一个非中文路径下。

因为kettle改名字了,叫做pdi

image.png


更改一下图标,更好看。

修改字符集

在安装目录下找到spoon.bat 文件

image.png

添加 如果打开软件重新启动一下

"-Dfile.encoding=UTF-8"

每次启动的时候,记得使用管理员权限启动。

实战

Kettle 是ETL 工具,玩数据的工具  数据倒来倒去。
Sqoop 、Flume 、DataX 都是一类的工具。

1)将txt数据导⼊到excel 中

选择 【转换】--> 【新建】,拖拽 【⽂本⽂件输⼊】和 【Excel输出】,摁住shift键,拖拽连接两者。

双击 【文本文件输入】

点击字段:

点击预览数据:

点击 字段 --> 获取字段

点击运行,开始转换,此时第一次会弹出让你保存这个转换的脚本,选一个地方保存一下

修改 Excel 输出:

出现这个错误,就说明 文件被打开了,需要关闭掉

如果选择的是 MS XLS,在输出的时候,可以选择使用高版本的格式比如 xlsx

点击复制。

选择保存的文件名字和后缀

以上演示的是传统数据的导入导出。

2)本地安装MySQL

查看mysql版本

如果本地已经有了mysql,可以跳过以下操作。

安装MySQL

本地安装MySQL配置环境变量-CSDN博客

安装MySQL图形化工具

Navicat Premium

        Navicat Premium是一款数据库管理工具,是一个可多重连线资料库的管理工具,它可以让你以单一程式同时连线到 MySQL、SQLite、Oracle、MariaDB、Mssql、及PostgreSQL 资料库,让管理不同类型的资料库更加的方便。

Navicat Premium 17安装教程

 DataGrip

        DataGrip 版是由JetBrains公司推出的数据库管理软件,DataGrip支持几乎所有主流的关系数据库产品,如DB2、Derby、H2、MySQL、Oracle、PostgreSQL、SQL Server、Sqllite及Sybase等,并且提供了简单易用的界面,开发者上手几乎不会遇到任何困难。

DataGrip2023安装教程

3)将excel表格中的数据导⼊到mysql中

开始设置Excel输入:

通过预览数据,发现数据有点问题,需要修复一下:

要将输入导入到mysql中:

最后发现没有数据库,所以需要创建一个数据库:

此处的连接名称最好不要是中文的,因为中文的连接如果【共享】之后可能会出现xml中的中文问题。

点击测试,出现错误:

将这个jar包,放入到kettle中:

由于我们上文安装的是MySQL8.0的数据库,使用如下驱动包。

拷⻉到 pdi这个软件的lib ⽬录下:

然后重启 kettle 这个软件,关掉,再进⼊就是重启了。

假如一直连不上,可以使用低版本的mysql,然后使用低版本的驱动。

将数据库连接【共享】,共享的意思是,这个数据库连接在很多地方都可以重复使用。

重启完,报另一个错误:

解决方案:

serverTimezone = GMT+8

启动:

useUnicode=true
characterEncoding=UTF-8

进行sql语句的微调:

CREATE TABLE t_user
(
  id varchar(255)
, name varchar(255)
, age int
, gender int
, province varchar(255)
, city varchar(255)
, region varchar(255)
, phone varchar(255)
, birthday date
, hobby varchar(255)
, register_date varchar(255)
);

数据库连接可以共享:

右键,选择 “共享”

当分享的时候报错:

问题的原因是:连接的名字含有中文。

修改此文件夹下的share.xml 文件

如何修改呢?

然后重启Kettle.

进入到数据库连接的地方,去掉中文的名字即可:

标签:基本,varchar,数据库,Kettle,MySQL,安装,255
From: https://blog.csdn.net/weixin_64726356/article/details/142184652

相关文章

  • 六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移
            在数据集成和数据仓库建设中,ETL(Extract,Transform,Load)工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较,并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1.DataPipeline设计及架构:专为超大数据量、高度复杂的数据链路设计的灵活、可扩......
  • Ubuntu怎么使用阿里源安装Docker
    环境查看系统环境#lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu24.04LTSRelease:24.04Codename:noble#uname-aLinuxUbuntu22AiServer010051006.8.0-40-generic#40-UbuntuSMPPREEMPT_DYNAMICFr......
  • 在阿里云服务器安装完宝塔后,打不开宝塔面板
    在阿里云服务器安装完宝塔后,打不开宝塔面板塔页面一、系统防火墙和服务器安全组均要放行1、打开阿里云服务器,点击控制台阿里云网址链接:阿里云-计算,为了无法计算的价值(aliyun.com)二、点击云服务器ECS三、点击 -------网络与安全----->   安全组......
  • docker安装code-server
    搞了个阿里云的服务器,总想着折腾一下。搜了一下有没有什么有趣的docker,看到有推荐code-server的,就准备装个看看。1、安装镜像$sudodockerpullcodercom/code-serverUsingdefaulttag:latestlatest:Pullingfromcodercom/code-server0e29546d541c:Pullcompletec3ed......
  • JavaScript -- 数组的基本操作
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metahttp-equiv="X-UA-Compatible"content="IE=edge"><metaname="viewport"content="width=d......
  • Vue.js入门系列(三十一):Element-UI的基本使用与按需引入、Vue 3简介及使用 Vue CLI 与 V
    个人名片......
  • 内网渗透- 内网渗透的基本知识
    攻击流程讲解内网介绍内网也指局域网,是指在某一区域内由多台计算机互联而成的计算机组,组网范围通常在数千米以内。在局域网中,可以实现文件管理、应用软件共享、打印机共享、工作组内的日程安排、电子邮件和传真通信服务等。内网是封闭的,可以由办公室内的两台计算机组成,也可......
  • 安装php的mysqli扩展
    安装和启用PHP的mysqli扩展通常取决于你的操作系统和PHP环境。下面分别介绍在不同环境下的操作方法:Windows环境找到 php.ini 文件:通常 php.ini 文件位于PHP安装目录中,例如 C:\xampp\php(如果是XAMPP环境)或者其他PHP安装路径下。如果不确定 php.ini 文件的位置,可以在......
  • eyoucms易优无法安装,提示当前数据库结构与官方不一致
    当你在安装易优CMS(EyouCMS)时遇到“当前数据库结构与官方不一致”的提示,这通常意味着你的数据库版本或结构与CMS所需的版本或结构不符。这种情况通常是由于以下几个原因造成的:数据库版本过低:数据库版本低于CMS所支持的最低版本。数据库文件版本不匹配:数据库文件版本与CMS源码版......
  • docker介绍以及安装
    docker概念docker是什么是一种开源容器引擎一种操作系统级的虚拟化技术依赖于Linux内核特性:Namespace(资源隔离)和Cgroups(资源限制)一个简单的应用程序打包工具namespace和cgroups介绍namespace:命名空间,Linux内核提供的一种对进程资源隔离的机制,例如进程、网络、挂载点等资源。•......