首页 > 其他分享 >第十二章 元数据管理(重点)

第十二章 元数据管理(重点)

时间:2024-08-04 20:00:10浏览次数:11  
标签:存储 架构 重点 数据库 第十二章 数据管理 数据 目录

语境关系图:

1. 元数据概念:

  • 元数据从技术的角度叫元数据

  • 从业务的角度叫数据资源管理目录

    技术 =元数据 业务= 数据资源管理目录 但是并不是数据资产目录

    如果没有可靠的原数据,组织就不知道它拥有什么数据,数据表示什么,数据来自何处,如何在系统中流转,谁有权访问,或者对于数据保持高质量的意义,如果没有元数据,组织就不能作为资产进行管理,实际上,如果没有元数据,组织根本无法管理数据

  • 与其他数据意义,元数据也是需要管理的

元数据管理原则和数据质量管理原则区别

元数据管理的一个原则是因规尽规,因收尽收

数据质量的原则是 重要的数据先来

元数据的定义:
  • 元数据最常见的定义是 "关于数据的数据" ,元数据相当于图书馆里面的目录卡片

2.目标和原则
目标
  1. 记录和管理与数据相关的业务术语的知识体系,以确保人们理解和使用数据内容的一致性

  2. 收集和整合来自不同来源的元数据,以确保人们了解来自组织不同部门的数据之间的相似与差异

  3. 确保元数据的质量、一致性、及时性和安全

  4. 提供标准途径,使元数据使用者(人员、系统和流程)可以访问元数据

  5. 推广或强制使用技术元数据标准,以实现数据交换

最终的目标就是查询与分析

原则
  • 组织承诺

  • 战略

  • 企业视角

  • 潜移默化

  • 访问

  • 质量

  • 审计

  • 改进

2. 元数据分类
  • 元数据分3种类型:

    1. 业务元数据

    2. 技术元数据

    3. 操作元数据

如何区别3种类型的元数据:

有定义或者描述基本是业务元数据

有物理的比如字段属性,表名等等基本数据技术元数据

日志类的基本都数据操作元数据

3. 元数据注册标准 ISO/IEC 11179
4. 非结构化数据的元数据

非结构化数据的元数据包括:

  • 描述元数据,如目录信息和同义关键字;

  • 结构元数据,如标签、字段结构、特定格式;

  • 管理元数据,如来源、更新计划、访问权限和导航信息;

  • 书目元数据,如图书馆目录条目;

  • 记录元数据,如保留策略;

  • 保存元数据,如存储、归档条件和保存规则

    (参见第9章)

5. 元数据来源(14+N)
  • (1)应用程序中元数据存储库

  • (2)业务术语表

  • (3)商务智能工具

  • (4)配置管理工具

  • (5)数据字典 (1对1)

    数据字典定义数据集的结构和内容,通常用于单个(不是多个)数据库、应用程序或数据仓库。

  • (6)数据集成工具

  • (7)数据库管理和系统目录

    数据库目录是元数据的重要来源,它们描述了数据库的内容、信息大小、软件版本、部署状态、网络正常运行时间、基础架构正常运行时间、可用性,以及许多其他操作元数据属性。

  • (8)数据映射管理工具

  • (9)数据质量工具

  • (10)字典和目录

  • (11)事件消息工具

  • (12)建模工具和存储库

  • (13)参考数据库

  • (14)服务注册

  • (15)其他元数据存储

6 元数据架构类型
  • (1)集中式元数据架构

  • (2)分布式元数据架构

  • (3)混合式元数据架构

  • (4)双向元数据架构

方法

数据血缘和影响分析
  • 血缘分析(比如报告出错 查找问题是什么原因引起的) 由下往上追溯

  • 影响分析(比如改了某个字段 查找对系统有哪些影响) 由上往下追溯

度量指标

  • 1)元数据存储库完整性

  • 2)元数据管理成熟度

  • 3)专职人员配备

  • 4)元数据使用情况

  • 5)业务术语活动

  • 6)主数据服务数据遵从性

  • 7)元数据文档质量

  • 8)元数据存储库可用性

标签:存储,架构,重点,数据库,第十二章,数据管理,数据,目录
From: https://blog.csdn.net/H651883075/article/details/140335245

相关文章

  • 【Redis 进阶】哨兵 Sentinel(重点理解流程和原理)
    Redis的主从复制模式下,一旦主节点由于故障不能提供服务,需要人工进行主从切换,同时大量的客户端需要被通知切换到新的主节点上,对于上了一定规模的应用来说,这种方案是无法接受的,于是Redis从2.8开始提供了RedisSentinel(哨兵)加个来解决这个问题。一、基本概念由于对Red......
  • 一文读懂SEnet:如何让机器学习模型学会“重点观察”
    深入探讨一个在图像识别、自然语言处理等众多领域大放异彩的注意力模块——Squeeze-and-ExcitationNetworks(SEnet)。本文不仅会理论剖析SEnet的核心原理,还会手把手带你完成在TensorFlow和Pytorch这两个主流框架上的代码实现。准备好了吗?一起步入注意力机制的精妙世界。一、......
  • 【C语言】程序环境,预处理,编译,汇编,链接详细介绍,其中预处理阶段重点讲解
    目录程序环境翻译环境1.翻译环境的两个过程2.编译过程的三个阶段 执行环境 预处理(预编译) 1.预定义符号2.#define 2.1用#define定义标识符(符号)2.2用#define定义宏 2.3#define的替换规则 2.4#和##的用法2.5宏和函数2.6#undef3.命令......
  • 三、DQL 查询数据(最重点)
    DQL查询数据(最重点)DQL(DataQueryLANGUAGE:数据查询语言)所有的查询操作都用它select简单的查询、复杂的查询都能做数据库中最核心的语言,最重要的语句使用频率最高的语句Select完整语法:SELECT[ALL|DISTINCT]{*|table.*|[table.field1[asalist1][,table.fie......
  • JDBC(重点)
    JDBC(重点)数据库驱动JDBCSUN公司为了简化开发人员的(对数据库的同一)操作,提供了一个(Java操作数据库的)规范,俗称JDBC这些规范的实现由具体的厂商去做对于开发人员来说,我们只需要掌握JDBC接口的操作即可java.sqljavax.sql还需要导入一个数据库驱动包第一个JDBC程序创建普......
  • 矩阵论重点总结
    矩阵论第一章线性空间和线性变换线性空间的基与维数线性空间:加法和数乘的封闭性+8条规则基底:一组线性无关的向量,且其他元素可以由它们线性表出维数:基底向量的个数子空间生成子空间交子空间:$V_1\capV_2$和子空间:$V_1+V_2$维数定理:$dimV_1+dimV_2=dimV_......
  • SpringBoot自动配置(面试重点)
    自动配置是指:自动配置是指在应用程序启动时,SpringBoot根据classpath路径下的jar包自动配置应用程序所需的一系列bean和组件,从而减少开发者的配置工作,提高开发效率。一:ConditionCondition是spring4.0之后添加的条件判断功能,通过这个功能可以实现选择性的创建Bean操作。Condit......
  • 加速数字化转型,信创自主可控:TapData 为银行业数据管理能力建设提供新思路
    使用TapData,化繁为简,摆脱手动搭建、维护数据管道的诸多烦扰,轻量代替OGG、DSG等同步工具,「CDC+流处理+数据集成」组合拳,加速仓内数据流转,帮助企业将真正具有业务价值的数据作用到实处,将“实时数仓”方法论落进现实。TapData持续迭代产品能力,优化用户体验的同时,也在不断探......
  • 计算机网络重点知识
    TCP/IP五层模型OSI将计算机网络体系结构(architecture)划分为以下七层:物理层:在媒介上传输比特流;提供机械的和电气的规约数据链路层:将分组数据封装为帧;在数据链路上实现数据的点到点、或点到多点方式的直接通信;差错检测网络层:定义逻辑地址;实现数据从源到目的地的转......
  • Docker数据管理
    目录数据卷(DataVolumes)容器和宿主机的数据共享1.拉取centos镜像2.创建容器3.输入内容验证经过宿主机,实现容器间的数据共享1.创建a2容器,并且挂载同一个宿主机目录2.输入内容验证挂载文件1.创建a2容器,并且挂载文件2.只读操作数据卷容器1.创建a1容器作为数据卷容器......