首页 > 其他分享 >认识元数据-元数据分类

认识元数据-元数据分类

时间:2023-07-27 14:57:55浏览次数:34  
标签:访问 认识 分类 业务 信息 索引 数据 描述

1.什么是元数据

    元数据是描述数据的组织、数据域及其关系的信息,简言之数据的相关信息而存在的数据,有了元数据可以帮助我们更好的理解业务,实现业务,实现数据资产化。

 

2.元数据的类型

    元数据主要分为技术元数据,业务元数据,管理元数据三大类。

技术元数据

    技术元数据是为数仓开发和数仓管理人员服务的,它描述了数仓开发相关的数据,包括数据源信息,数据转换描述,数据仓库模型,数据清洗规则,数据映射,数据字典等。

1、数据库对象或者数据源信息,比如是mysql还是oracle等信息。

2、物理数据库表名,备注,主键,索引。

3、物理表的大小,行数,文件数,分区数,存储类型,表类型,索引名称,索引字段,索引类型,约束,表功能描述等。

4、字段属性,包括字段名,字段注释,字段类型,是否主键,是否自增,是否外键,清洗逻辑等。

5、ETL 作业详细信息,名称,责任人,脚本,任务配置(执行时间,执行频率,是否互斥,上游依赖等),任务调度时长,产出信息等。

6、数据血缘,表/字段级别的上下游依赖关系,任务输入/输出表依赖关系。

7、数据备份策略。

业务元数据

    从业务角度描述数据,提供了介于使用者和实际系统之间的语义层,使不懂IT技术的业务人员也能够读懂数据仓库中的数据。

1、数据库表所属的业务域,所在的项目。

2、指标定义、业务分类、业务规则、转换规则、计算公式、推导公式等。

3、数据模型及数据应用。

4、数据标准、数据质量规则和核检结果。

5、数据的安全,隐私级别。

6、数据使用说明等。

管理元数据(操作元数据)

    管理元数据用来定义系统中涉及管理领域的相关概念等信息,包括人员角色、岗位职责等内容,例如对项目管理、IT运维、IT资源设备等相关信息的描述,这里元数据主要被企业IT部门的管理人员使用。

1、数据所有者、使用者等。

2、数据的访问方式、访问时间、访问限制等。

3、数据访问权限、组和角色等。

4、数据处理作业的结果、系统执行日志等。

5、数据备份、归档人、归档时间等。

6、表上线下线时间等。

 

标签:访问,认识,分类,业务,信息,索引,数据,描述
From: https://www.cnblogs.com/beststrive/p/17584928.html

相关文章

  • 前端实现导出Excel表格数据
    前端使用ExportExce导出表格数据步骤一、下载依赖cnpminstallfile-saver@1.3.8xlsx@0.14.1--save步骤二、创建一个ExportExce.js文件注意: vue中的话一般是在util文件夹下创建的nuxt的话在plugins下ExportExce.js/*eslint-disable*/import {saveAs}f......
  • 成功实现FaceTime拨打,FaceTime数据筛选,检测手机号是否开通FaceTime的原理
    FaceTime是苹果公司iOS和macOS(以前称MacOSX或OSX)内置的一款视频通话软件,通过Wi-Fi或者蜂窝数据接入互联网,在两个装有FaceTime的设备之间实现视频通话。其要求通话双方均具有装有FaceTime的苹果设备,苹果ID以及可接入互联网的3G/4G/5G或者Wi-Fi网络。 一、Windows电脑上部署苹......
  • k8s数据卷 Volume 之 hostPath 与 emptyDir
    一、为什么需要volume(数据卷)?容器中的文件在磁盘上是临时存放的,这给容器中运行比较重要的应用程序带来一些问题。问题1:当容器升级或者崩溃时,kubelet会重建容器,容器内文件会丢失问题2:一个Pod中运行多个容器需要共享文件。Kubernetes卷(Volume)这一抽象概念能够解决这两个问题......
  • 查询指定数据库相关信息(表明,注释,字段等)
    1、查看Mysql数据库"mysql"下所有表的表名、表注释及其数据量TABLE_NAME:表名TABLE_COMMENT:表注释SELECTTABLE_NAME,TABLE_COMMENT,TABLE_ROWSFROMinformation_schema.tablesWHERETABLE_SCHEMA='mysql'ORDERBYTABLE_NAME; 2、查询数据库‘mysql’下表......
  • QueryWrapper 查询数据库字段不为null和空字符串
    https://wenku.csdn.net/answer/50db66695ced42d380b982b85cd5fca7......
  • shutil,sys,xlwt,xlrd模块---------------vlookup匹配相同内容,不同顺序的数据
    代码如下:importshutilimportsysimportxlwtimportxlrdfile1="a.xlsx"#打开表1wb1=xlrd.open_workbook(filename=file1)#表1要匹配的列索引hid_index1=0#表1目标数据列索引target_index1=1#表1的sheetsheet1=wb1.sheet_by_index(0)#表1的sheet的总行数rowNum1=......
  • NineData已支持「最受欢迎数据库」PostgreSQL
    根据在StackOverflow发布的2023开发者调研报告中显示,PostgreSQL以45%vs41%的受欢迎比率战胜MySQL,成为新的最受欢迎的数据库。NineData也在近期支持了PostgreSQL,用户可以在NineData平台上进行创建数据库/Schema、管理用户与角色、导出数据、执行SQL等操作。另外,Ni......
  • SpringBoot 开启GZIP数据压缩
    I.gizp压缩配置1.配置SpringBoot默认是不开启gzip压缩的,需要我们手动开启,在配置文件中添加两行server:compression:enabled:truemime-types:application/json,application/xml,text/html,text/plain,text/css,application/x-javascript注意下上面配置中......
  • Kafka集群数据同步 MirrorMaker详解
    1、什么是MirrorMaker?MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要作用是从源集群中消费并生产到目标集群。一个集群可以启动多个MirrorMaker配置到多个Kafka集群;2、如果想在Kafka测试集群,同步线的Kafka数据,做测试使用1、在测试集群配置mi......
  • 数据结构练习笔记——求解由单链表表示的一元多项式的值
    求解由单链表表示的一元多项式的值【问题描述】一个形如\[a_0x^0+a_1x^1+...+a_nx^n\]的一元多项式含有n+1项,每一项由系数和指数唯一确定,可表示成由系数项和指数项构成的一个二元组(系数,指数),一元多项式则可以表示成二元组的集合{(a0,0),(a1,1),(a2,2)...(an,n)},可看成是数据......