首页 > 其他分享 >apache hop kettle 替换方案

apache hop kettle 替换方案

时间:2023-10-04 09:44:38浏览次数:45  
标签:kettle manual vs hop apache org

apache hop 是一个apache 开源的 kettle替换方案,提供了kettle 任务的导入能力,整体来说目前估计ga 了,而且还算活跃

参考架构

如下图,包含了gui,server,metadata store,runner。。。还是比较完整的

 

支持的功能

  • pipeline 开发 
    就是kettle 的转换
  • workflow 开发 
    就是kettle 的job
  • metadata 
    元数据存储
  • hop server 
    就是kettle 的Carte
  • 基于vcs 的资源管理 
    实际上就是类似kettle 的文件,或者数据库资源库,但是hop 基于了git 进行管理
  • 插件化的开发能力 
    我们可以方便的自己扩展hop

说明

apache hop 提供了kettle 导入能力,可以方便kettle 任务的迁移,同时还提供了基于容器的运行模式,同时还提供了web service 接口
hop 已经与apache beam 进行了集成了,这样我们就可以很好的利用spark 以及flink 周边的能力了,同时hop 还提供了一个sdk(实际与kettle 类似,主要是方便集成到自己的业务系统中)

参考资料

https://hop.apache.org/
https://github.com/apache/hop
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/if-you-know-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/hop-vs-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/import-kettle-projects.html
https://hop.apache.org/dev-manual/latest/sdk/hop-sdk.html

标签:kettle,manual,vs,hop,apache,org
From: https://www.cnblogs.com/rongfengliang/p/17741970.html

相关文章

  • Adobe_Photoshop_2024_25.0.0.37图文安装教程及下载
    Adobe_Photoshop_2024正式版,拥有之前beta版本的全部功能,包括但不限于内置AI绘图,一键抠图、移除工具、悬浮工具栏、图像扩展、填充式生成、调整预设等等。尤其是“生成式填充”和“生成式扩展”。除此之外,PS2024正式版还内置了NeuralFilters神经AI滤镜,这款插件用于图片的处理,它......
  • LINUX:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.
     如图,问题表现为linux中可直接通过hive进行数据插入但在通过datagrip却更改不了此时,可能时yarn的运行分配的内存较少,或堆内存溢出。在yarn-site.xml中更改,以及mapred-site.xml中更改,完成。yarn的<property><name>yarn.scheduler.minimum-allocation-mb</name>......
  • mybatis中找不到字段问题org.apache.ibatis.binding.BindingException: Parameter ‘i
    如果参数只有一个对象,则无须显式写对象名;否则需要。使用EasyCodeMybatisCodeHelper生成代码,调用其中的queryAllByLimit时报错了,说找不到参数“id"。List<Power>queryAllByLimit(Powerpower,@Param("pageable")Pageablepageable);<!--查询指定行数据--><selectid="queryAllB......
  • kettle教程:spoon kettle数据转换示例
    Kettle:四大家族(核心组件)Chef(中文:厨师)、Kitchen(中文:厨房)、Spoon(中文:勺子)、Pan(中文:平底锅)Chef—工作(job)设计工具(GUI方式)。Kitchen—工作(job)执行器(命令行方式)。Spoon—转换(transform)设计工具(GUI方式)。pan—转换(transform)执行器(命令行方式)。Job和Transformation......
  • Niushop新增Paypal支付功能
    教程1.复制文件夹新建粘贴一下2.把文件里面的命名空间全部修改一下apaypal3.进入数据库表addon新增一条4.前端修改支付类型5.此时支付选择paypal的时候,就会运行到这里来6.下面是支付代码,未完待续......
  • FastDFS--扩展篇(Php&&Apache2&&Nginx)
         FastDFS不是通用的文件系统,只能通过专用的API来访问,目前提供了CJAVAPHP的API,下面我们来安装php扩展。   让Fastdfs支持php,在FastDFS的源码包解压后里面有个php_client目录,进入此目录,参照README进行安装: phpize./configuremakemakeinstall    ......
  • Apache Hudi 使用指南
    欢迎参观我的博客,一个Vue与SpringBoot结合的产物:https://poetize.cn博客:https://gitee.com/littledokey/poetize-vue2.git聊天室:https://gitee.com/littledokey/poetize-im-vue3.git后端:https://gitee.com/littledokey/poetize.git七牛云登录/注册地址(文件服务器,CDN):https:/......
  • Hadoop是什么? Hadoop是一个由Apache开发的开源分布式计算框架,它能够处理大规模数据并
    Hadoop是什么?Hadoop是一个由Apache开发的开源分布式计算框架,它能够处理大规模数据并行处理任务,支持大规模数据存储和处理。Hadoop的核心组件包括分布式文件系统HDFS和分布式计算框架MapReduce,它们使得Hadoop可以在廉价的硬件上并行地处理大量数据。Hadoop还包括很多相关的项目和子......
  • Error: Could not find or load main class org.apache.zookeeper.server.quorum.Quor
    下载mavenapache-maven-3.9.4-bin.tar.gz解压tar-zxvfapache-maven-3.9.4-bin.tar.gz添加环境变量vim/etc/profileexportMAVEN_HOME=/usr/local/maven-3.9.4exportPATH=${PATH}......
  • phpstorm apache php xdebug调试超时设置
    用phpstormxdebugapache调试php代码的时候总是一分钟就超时。修改配置文件解决1.php.ini设置xdebug,增加 #超时时间改大一点xdebug.remote_cookie_expire_time=3600max_execution_time=3600max_input_time=3600default_socket_timeout=3600 2.在apache配置文......