首页 > 其他分享 >openmetadata 元数据处理标准

openmetadata 元数据处理标准

时间:2022-10-09 19:47:34浏览次数:87  
标签:usage com 标准 openmetadata https 数据处理 type metadata

openmetadata 对于元数据的处理也是基于了schema 主要是workflow 这个定义,包含了不同的定义,基于自己定义的workflow 进行执行
数据的获取、处理以及写入

参考workflow 定义 (支持基于json 以及yaml格式的)

包含了source,sink,processor,stage,bulkSink,workflowConfig

 
source:
  type: bigquery-usage
  serviceName: local_bigquery
  serviceConnection:
    config:
      type: BigQuery
      credentials:
        gcsConfig:
          type: service_account
          projectId: project_id
          privateKeyId: private_key_id
          privateKey: private_key
          clientEmail: gcpuser@project_id.iam.gserviceaccount.com
          clientId: client_id
          authUri: https://accounts.google.com/o/oauth2/auth
          tokenUri: https://oauth2.googleapis.com/token
          authProviderX509CertUrl: https://www.googleapis.com/oauth2/v1/certs
          clientX509CertUrl: ''
  sourceConfig:
    config:
      queryLogDuration: '1'
processor:
  type: query-parser
  config: {}
stage:
  type: table-usage
  config:
    filename: /tmp/bigquery_usage
bulkSink:
  type: metadata-usage
  config:
    filename: /tmp/bigquery_usage
workflowConfig:
  openMetadataServerConfig:
    hostPort: http://localhost:8585/api
    authProvider: no-auth

提供的元数据标准接口

基本包含了我们常用的数据领域

  • 数据资产接口: 数据库,表,metrics,dashboard,report,pipeline 、topic
  • 服务接口: 数据库服务,报表服务、消息服务
  • 团队以及用户接口: 团队,用户
  • 搜索以及推荐接口额:资产查询、以及建议(自动完成)
  • 其他api: 标签,feed,使用

说明

openmetadata 的标准api 还是比较有用的,实现了通用性以及基于schema 的处理提升了系统的灵活性以及开发的快速性

参考资料

https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-spec/src/main/resources/json/schema/metadataIngestion/workflow.json
https://docs.open-metadata.org/main-concepts/metadata-standard/apis
https://docs.open-metadata.org/main-concepts/high-level-design

标签:usage,com,标准,openmetadata,https,数据处理,type,metadata
From: https://www.cnblogs.com/rongfengliang/p/16773382.html

相关文章

  • openmetadata pipelineservice client 处理机制
    pipelineserviceclient实现了pipeline的创建以及调度处理机制通用schema生成通用实体包装抽象通用pipelineclient基于通用实体进行pipeline处理实现具体的client......
  • 解标准高次方程
    1.从右往左,自上而下,依次穿根2.奇穿偶返......
  • DICOM:DICOM标准学习路线图(初稿)
    https://zssure.blog.csdn.net/article/details/49231303题记:DICOM医学图像处理专栏撰写已有两个年头,积累了近百篇文章。起初只是用于记录自己科研、工作中遇到的疑难问......
  • Lambda表达式实现方式、标准格式、练习、省略模式、注意事项及和匿名内部类的区别
    目录​​一、Lambda表达式实现方式​​​​二、Lambda表达式的标准格式​​​​三、Lambda表达式练习​​​​四、Lambda表达式的省略模式​​​​五、Lambda表达式的注意事......
  • RNA-seq | 转录组标准分析流程和常用工具软件介绍
    笔记内容摘要:RNA-seq转录组基础知识与标准分析流程,简单记录学习过程。转录组分析是对样本转录产物RNA的深入挖掘研究。通常情况下,植物的表型差异可能由许多因素控制,其中......
  • mysql使用group by分类统计几万条以上数据处理
    mysql如果groupby分类统计几万条以上数据太慢,因为条件查询会走全表搜索使用explain 可以看到自己的sql效率问题出现在哪,如:它查了7万多条数据才把结果查出来   sq......
  • Flask学习笔记(十)-标准类视图及使用场景
    一、定义规则1.标准类视图,必须继承自`flask.views.View`.2.必须实现`dipatch_request`方法,以后请求过来后,都会执行这个方法。这个方法的返回值就相当于是之前的函数视图......
  • Java 面试题 10 - 海量数据处理算法
    大数据处理中的分治思想哈希映射:如果数据太大,不能全部放入内存中,就可以利用映射函数将每条数据映射到一个小文件中,例如%1000可以将大文件映射成1000个小文件。相同的......
  • openmetadata jsonschema 处理的一些变动
    openmetadata估计是因为quicktype使用复杂费事,最近版本quicktype的集成已经废弃了,都使用jsonschema2pojo了实际上使用jsonschema2pojo对于java项目来说也比较好,毕竟......
  • 测试标准
    1兼容性1.1定义兼容性测试是指测试软件在特定的硬件平台上、不同的应用软件之间、不同的操作系统平台上、不同的网络等环境中是否能够很友好的运行的测试。1.2兼容测......