首页 > 其他分享 >ETL工具Datax、sqoop、kettle 的区别

ETL工具Datax、sqoop、kettle 的区别

时间:2022-10-06 18:34:08浏览次数:48  
标签:kettle 数据库 sqoop hadoop 支持 Datax Kettle

一、Sqoop主要特点:

1.可以将关系型数据库中的数据导入到hdfs,hive,hbase等hadoop组件中,也可以将hadoop组件中的数据导入到关系型数据库中;

2.sqoop在导入导出数据时,充分采用了map-reduce计算框架(默认map数为4),根据输入条件生成一个map-reduce作业(只有map,没有reduce),在hadoop集群中运行。采用map-reduce框架同时在多个节点进行import或者export操作,熟读比单节点运行多个并行效率高,同时提供了良好的并发性和容错性;

3.支持insert,update模式,可以选择参数,若内容存在就更新,若不存在就插入;

4.对国外主流关系型数据库支持性更好。

 

二、Datax 主要特点: 1、异构数据库和文件系统之间的数据交换; 2、采用 Framework + plugin 架构构建,Framework 处理了缓冲,流控,并发,上下文加载等高速数据交换的大部分技术问题,提供了简单的接口与插件交互,插件仅需实现对数据处理系统的访问; 3、数据传输过程在单进程(单进程多线程)内完成,全内存操作,不读写磁盘,也没有 IPC(进程之间的通信); 4、开放式的框架,开发者可以在极短的时间开发一个新插件以快速支持新的数据库/文件系统。   三、Kettle 主要特点: 1、kettle (数据抽取、清洗、转换、装载)是由 java 编写,可以在 Window、Linux、Unix 上运行。支持多数据源, 多种中间件的专业 ETL 工具。 2、支持图形化 GUI 设计界面,组件多样性,支持 http 请求,上手简单支持拖拽,支持 sql , 可以编写js ,可以编写一些 java 代码,然后以工作流的形式流转。如果没有冲突可以并行执行,并行开发。在工具内可以查看 读 写 修改 输出 更新 拒绝 错误 等 一些参数,快速定位和纠错。   四、Sqoop 和 Datax 的区别: 1、sqoop 采用 map-reduce 计算框架进行导入导出,而 datax 仅仅在运行 datax 的单台机器上进行数据的 抽取和加载,速度比 sqoop 慢了许多; 2、sqoop 只可以在关系型数据库和 hadoop 组件之间进行数据迁移,而在 hadoop 相关组件之间,比如 hive 和 hbase 之间就无法使用 sqoop 互相导入导出数据,同时在关系型数据库之间,比如 mysql 和 oracle 之间也无法通过 sqoop 导入导出数据。与之相反,datax 能够分别实现关系型数据库 hadoop 组件 之间、关系型数据库之间、hadoop 组件之间的数据迁移; 3、sqoop 是专门为 hadoop 而生,对 hadoop 支持度好,而 datax 可能会出现不支持高版本 hadoop 的现象; 4、sqoop 只支持官方提供的指定几种关系型数据库和 hadoop 组件之间的数据交换,而在 datax 中,用户 只需根据自身需求修改文件,生成相应 rpm 包,自行安装之后就可以使用自己定制的插件;   五、Kettle 与 DataX 的区别: 1、Kettle 拥有自己的管理控制台,可以直接在客户端进行 etl 任务制定,不过是 CS 架构(服务器-客户机),而不支持 BS(浏览器-服务器)架构。DataX 并没有界面,界面完全需要自己开发,增加了很大工作量。 2、Kettle 可以与我们自己的工程进行集成,通过 JAVA 代码集成即可,可以在 java 中调用 kettle 的转换、执行、结束等动作,这个还是有意义的,而 DataX 是不支持的,DataX 是以执行脚本的方式运行任务的,当然完全吃透源码的情况下,应该也是可以调用的。 3、支持的数据库,都支持的比较齐全,kettle 支持的应该更多,DataX 是阿里开发,可以更好地支持阿里自身的数据库系列,如 ODPS、ADS 等 4、Kettle 已经加入 BI 组织 Pentaho,加入后 kettle 的开发粒度和被关注度更进一步提升 5、DataX 开源的支持粒度不高,关注度远没有 kettle 高,代码提交次数更是少的很。   六、Kettle 与 Sqoop 的区别 1、Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job则完成整个工作流的控制;Sqoop 主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 2、kettle 有图形化的操作界面,只需要描述你想做什么,而不是你想怎么做;sqoop 没有图形化界面,具体的数据流向需要手工配置。 3、kettle 底层使用多线程以提高效率;Sqoop 专为大数据批量传输设计,能够分割数据集并创建 Hadoop任务来处理每个区块。 4、kettle 可以利用 transformation 在数据传输过程中对数据的一些转换处理;Sqoop 只是一个用来将Hadoop 和关系型数据库中的数据相互转移的工具 5、kettle 数据的具体流向可以指定,可以是各种数据的存储工具;sqoop 只是完成 hdfs 到关系型数据库或者 关系型数据库到 hdfs 的数据传输,在传输的过程中保证传输数据的类型                            

标签:kettle,数据库,sqoop,hadoop,支持,Datax,Kettle
From: https://www.cnblogs.com/stanzhou47/p/16758160.html

相关文章

  • 【Kettle】字符串替换不起作用
         字符串替换节点不起作用,一个原因是输入流字段和输出流字段名称相同,一个解决办法是修改输出流字段名称  ......
  • kettle 8.3 连接mysql8.0.30 的入坑体验
    写这个东西主要是想吐槽为主,真的无语了。kettle是java写的java版权是oracle的。mysql是Oracle的。   吐槽:一般来说,在kettle中新建mysql连接时......
  • Kettle踩坑
    1、打开Kattle没出现连接按钮   删除本地C盘个人文档下面的.Kattle文件2、保存转换出现UTF-8错误   修改spoon.bat文件:if"%PENTAHO_DI_JAVA_OPTIONS%"==""......
  • DataX教程
    尚硅谷大数据技术之DataX(作者:尚硅谷大数据研发部)版本:V1.0 第1章DataX简介1.1DataX概述    DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包......
  • Kettle 添加Mysql驱动后仍提示连接错误
    错误连接数据库[kettle_mysql]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccurredwhiletryingtoconnecttothedatabaseDriverclass'o......
  • kettle脚本spoon设计方法实例-大屏看板
    1、新建转换t_baidu_citycongestion 2、新建DB连接:yuanshujuku       主机名称:10.2.111.235       数据库名称:orcl       用户名:ehl_tfm  ......
  • Kettle 手册
    简介Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。支持图形化的GUI设计界面,然后可以以工作流的形式流转环境......
  • java调用kettle自定义kettle.properties配置文件路径
    java调用kettle自定义kettle.properties配置文件路径默认路径java调用kettle的jar包时,在初始化环境的时候,会在指定路径创建并加载kettle的kettle.properties文件,该文件的......
  • Sqoop面试题
    sqoop概述sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出):A.将关系型数据库的数据导入到Hadoop及其相关的系统中,如Hive和HBaseB.将数据从Hadoo......
  • Sqoop安装部署
    今天进行了Sqoop的安装部署工作。1、导入Sqoop的tar包到/export/server下,并进行解压。cdexport/servers进入相应目录tarzxvfsqoop-1.4.6.bin__hadoop-2.0.4-al......