apache hop 是一个apache 开源的 kettle替换方案,提供了kettle 任务的导入能力,整体来说目前估计ga 了,而且还算活跃
参考架构
如下图,包含了gui,server,metadata store,runner。。。还是比较完整的
支持的功能
- pipeline 开发
就是kettle 的转换 - workflow 开发
就是kettle 的job - metadata
元数据存储 - hop server
就是kettle 的Carte - 基于vcs 的资源管理
实际上就是类似kettle 的文件,或者数据库资源库,但是hop 基于了git 进行管理 - 插件化的开发能力
我们可以方便的自己扩展hop
说明
apache hop 提供了kettle 导入能力,可以方便kettle 任务的迁移,同时还提供了基于容器的运行模式,同时还提供了web service 接口
hop 已经与apache beam 进行了集成了,这样我们就可以很好的利用spark 以及flink 周边的能力了,同时hop 还提供了一个sdk(实际与kettle 类似,主要是方便集成到自己的业务系统中)
参考资料
https://hop.apache.org/
https://github.com/apache/hop
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/if-you-know-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/hop-vs-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/import-kettle-projects.html
https://hop.apache.org/dev-manual/latest/sdk/hop-sdk.html