标签:pipeline java client openmetadata pipelineservice 通用
pipelineservice client 实现了pipeline的创建以及调度处理
机制
- 通用schema 生成通用实体
- 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
- 实现具体的client 比如airflow
- IngestionPipelineRepository 会使用client 进行实际上的创建,IngestionPipelineResource 提供rest api
接口定义
说明
目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务,没有开发自己的,核心是进行包装,预计后边会支持更多的pipeline 服务
参考资料
https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-service/src/main/java/org/openmetadata/service/util/PipelineServiceClient.java
标签:pipeline,
java,
client,
openmetadata,
pipelineservice,
通用
From: https://www.cnblogs.com/rongfengliang/p/16773387.html