首页 > 其他分享 >openmetadata pipelineservice client 处理机制

openmetadata pipelineservice client 处理机制

时间:2022-10-09 19:47:18浏览次数:69  
标签:pipeline java client openmetadata pipelineservice 通用

pipelineservice client 实现了pipeline的创建以及调度处理

机制

  • 通用schema 生成通用实体
  • 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
  • 实现具体的client 比如airflow
  • IngestionPipelineRepository 会使用client 进行实际上的创建,IngestionPipelineResource 提供rest api

接口定义

 

 

说明

目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务,没有开发自己的,核心是进行包装,预计后边会支持更多的pipeline 服务

参考资料

https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-service/src/main/java/org/openmetadata/service/util/PipelineServiceClient.java

标签:pipeline,java,client,openmetadata,pipelineservice,通用
From: https://www.cnblogs.com/rongfengliang/p/16773387.html

相关文章

  • HttpClient和OkHttp发送http请求
    根据技术选型总结常见的三种方式发送http请求,本问介绍框架中常用的HttpClient和OkHttp方式,其他两种如下链接​​​springboot中使用restTemplate发送http请求​​ 一、http......
  • python 解决安装mysqlClient失败
    运行django项目,因为我的代码需要mysqlClient,所以遇到问题记录一下直接运行安装命令pipinstall--usermysqlclient会报如下错误,查询一番之后发现只能安装wheel文件才能......
  • FeignClient注释
    @FeignClient()注解的使用由于SpringCloud采用分布式微服务架构,难免在各个子模块下存在模块方法互相调用的情况。比如service-admin服务要调用service-card服务的方法。......
  • https://github.com/succlz123/AcFun-Client-Multiplatform
    GitHub-succlz123/AcFun-Client-Multiplatform:Athirdpartmultipaltformclientofhttps://www.acfun.cn/.Thegoalofthisrepositoryistobuildaonlinemed......
  • Python 使用zmail、imapclient或imap_tools接收邮件
    Python中,可以使用通过代码方式接收邮件,本文主要介绍使用zmail、imapclient和imap_tools三种方法接收邮件,以及相关的示例代码。原文地址:Python使用zmail、imapclient或ima......
  • 数据库还原失败System.Data.SqlClient.SqlError: 无法执行 BACKUP LOG,因为当前没有数
    造成这个问题的原因是结尾日志,在还原时将结尾日志备份下的“还原前进行结尾日志备份”勾掉就可以了。如下图所示:  ......
  • httpclient实现HttpGet请求传body的json参数的!
    原文来自:https://admins.blog.csdn.net/article/details/109809386前言最近调用公司项目一个接口时,发现该接口是一个Get请求,入参在Body中(json格式)。场景如下:A服务需发送h......
  • HttpClient发送Post请求传递json、普通参数
    importcom.alibaba.fastjson.JSONObject;importorg.apache.http.HttpEntity;importorg.apache.http.NameValuePair;importorg.apache.http.client.entity.UrlEncod......
  • openmetadata jsonschema 处理的一些变动
    openmetadata估计是因为quicktype使用复杂费事,最近版本quicktype的集成已经废弃了,都使用jsonschema2pojo了实际上使用jsonschema2pojo对于java项目来说也比较好,毕竟......
  • Android Asynchronous HTTPClient的实现和优化
    大家知道Android对UI线程的反应时间要求很高,超过5秒钟直接ANR掉,根本不给你机会多等。而Android应用与后端系统的交互是最基本的需求之一,如何实现高效的AsynchronousHTTPCli......