首页 > 数据库 >【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle将mysql数据导入hive、将hive数据导入mysql)

【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle将mysql数据导入hive、将hive数据导入mysql)

时间:2024-11-01 13:44:52浏览次数:3  
标签:解压 Kettle hive 导入 mysql 数据

文章目录


一、安装

Kettle的安装包在文章结尾

1、解压

在windows中解压到一个非中文路径下

2、修改字符集

修改 spoon.bat 文件
[图片]

"-Dfile.encoding=UTF-8"

3、启动

以管理员身份运行 spoon.bat 文件

二、实战

1、将hive数据导入mysql

kettle连接hive前配置:
[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

2、将mysql数据导入到hive

和将hive数据导入mysql一样

有时候,运行成功,有时候只能导入 2 条数据,然后报错,可以在 hive 的 conf 下的 .hiverc 下,添加如下:

set hive.stats.column.autogather=false;

然后不需要重启 hiveserver2 以及 kettle,直接运行即可。

通过网盘分享的文件:Kettle
链接: Kettle安装包
提取码: 1234

标签:解压,Kettle,hive,导入,mysql,数据
From: https://blog.csdn.net/lzhlizihang/article/details/143373070

相关文章

  • 你还不会用数据库吗?一篇文章带你入门!!!#sql #Mysql
    目录前言一段话简单理解什么是“数据”,“数据库”,“SQL”,“Mysql”一、准备工作MySQL的安装二、打开MySQL方法一:通过下载的MySQL软件直接打开方法二:命令提示符打开(cmd)方法三:连接指定地址数据库服务端方法四:直接打开(前提已经建立过数据库)三、MySQL的一些简单语句(正式实......
  • mysql数据库新增和修改字段
      8.0版本之上--修改旧字段名为新字段名ALTERTABLEbd_material_circuit_breakerRENAMECOLUMNrelease_typeTOrelease_type_zh;ALTERTABLEbd_material_circuit_breakerRENAMECOLUMNcontrol_typeTOcontrol_type_zh;ALTERTABLEbd_material_circ......
  • 手动部署MySQL数据库
    步骤一:安装MySQL运行以下命令,更新YUM源。yum-yupdate如果您想下载其他版本的MySQL,请参见MySQL官方文档。sudoyuminstallmysql-server-y运行以下命令,查看MySQL版本号。mysql-V返回结果如下,表示MySQL安装成功。mysqlVer8.0.33forLinuxonx86_64(MySQL......
  • 通过Navicat for MySQL恢复数据库的步骤
    启动NavicatforMySQL在本地主机上启动NavicatforMySQL应用程序。创建新的MySQL连接在菜单栏中选择 连接 > MySQL。在弹出的 MySQL-新建连接 对话框中,输入云虚拟主机的数据库信息,包括主机地址、端口、用户名和密码。单击 连接 按钮以建立连接。打开数据......
  • 基于Java+SpringBoot+Mysql实现的快递柜寄取快递系统功能实现二
    一、前言介绍:1.1项目摘要随着电子商务的迅猛发展和城市化进程的加快,快递业务量呈现出爆炸式增长的趋势。传统的快递寄取方式,如人工配送和定点领取,已经无法满足现代社会的快速、便捷需求。这些问题不仅影响了快递服务的效率,也增加了快递员和消费者的不便。在这样的背景下,快递柜......
  • 基于Java+SpringBoot+Mysql实现的快递柜寄取快递系统功能实现一
    一、前言介绍:1.1项目摘要随着电子商务的迅猛发展和城市化进程的加快,快递业务量呈现出爆炸式增长的趋势。传统的快递寄取方式,如人工配送和定点领取,已经无法满足现代社会的快速、便捷需求。这些问题不仅影响了快递服务的效率,也增加了快递员和消费者的不便。在这样的背景下,快递柜......
  • Navicat 连接 MySQL 失败:2002-can‘t connect to server on localhost(10061)问题解决
    连接不上问题可能有如下原因服务器安全组中没有配置3306端口mysql服务端口只开放本地了如下:修改/etc/mysql/mysql.conf.d/mysqld.cnf中bind-address和mysqlx-bind-address注释掉重启mysql服务systemctlrestartmysqlmysql登录用户的host为localhost只允......
  • mysql CA certificate ca.pem is self signed 如何解决
    当MySQL的CA证书(ca.pem)是自签名时,这意味着该证书不是由受信任的证书颁发机构(CA)签发的。这可能导致在客户端和服务器之间建立安全连接时出现问题,特别是在需要验证证书链的情况下。以下是一些解决方法和步骤,可以帮助你处理自签名的CA证书:1.将CA证书添加到受信任的证......
  • MYSQL安装完系统盘和数据盘分离的后续操作
    前面讲了,为了保证数据库安全,建议将系统盘和数据盘分离。1、系统盘和数据盘分离操作,请看:https://www.cnblogs.com/hunttown/p/18510531 2、安装MYSQL数据库,请看:https://www.cnblogs.com/hunttown/p/17119331.html 3、后续操作如下:#1、复制现有的MySQL数据库文件sudo......
  • 35. PyMySQL
    1. PyMySQL模块介绍1.1 什么是DB-APIPython标准数据库规范为DB-API,DB-API定义了一系列必须的对象和数据库操作方式,以便为各种数据库系统和数据库访问程序提供一致的访问接口。1.2数据库操作模块DB-API接口封装成数据库操作模块,PyMySQL是python操作MySQL数据库的一种模块......