语境关系图:
1. 元数据概念:
-
元数据从技术的角度叫元数据
-
从业务的角度叫数据资源管理目录
技术 =元数据 业务= 数据资源管理目录 但是并不是数据资产目录
如果没有可靠的原数据,组织就不知道它拥有什么数据,数据表示什么,数据来自何处,如何在系统中流转,谁有权访问,或者对于数据保持高质量的意义,如果没有元数据,组织就不能作为资产进行管理,实际上,如果没有元数据,组织根本无法管理数据
-
与其他数据意义,元数据也是需要管理的
元数据管理原则和数据质量管理原则区别:
元数据管理的一个原则是因规尽规,因收尽收
数据质量的原则是 重要的数据先来
元数据的定义:
-
元数据最常见的定义是 "关于数据的数据" ,元数据相当于图书馆里面的目录卡片
2.目标和原则
目标
-
记录和管理与数据相关的业务术语的知识体系,以确保人们理解和使用数据内容的一致性
-
收集和整合来自不同来源的元数据,以确保人们了解来自组织不同部门的数据之间的相似与差异
-
确保元数据的质量、一致性、及时性和安全
-
提供标准途径,使元数据使用者(人员、系统和流程)可以访问元数据
-
推广或强制使用技术元数据标准,以实现数据交换
最终的目标就是查询与分析
原则
-
组织承诺
-
战略
-
企业视角
-
潜移默化
-
访问
-
质量
-
审计
-
改进
2. 元数据分类
-
元数据分3种类型:
-
业务元数据
-
技术元数据
-
操作元数据
-
如何区别3种类型的元数据:
有定义或者描述基本是业务元数据
有物理的比如字段属性,表名等等基本数据技术元数据
日志类的基本都数据操作元数据
3. 元数据注册标准 ISO/IEC 11179
4. 非结构化数据的元数据
非结构化数据的元数据包括:
-
描述元数据,如目录信息和同义关键字;
-
结构元数据,如标签、字段结构、特定格式;
-
管理元数据,如来源、更新计划、访问权限和导航信息;
-
书目元数据,如图书馆目录条目;
-
记录元数据,如保留策略;
-
保存元数据,如存储、归档条件和保存规则
(参见第9章)
5. 元数据来源(14+N)
-
(1)应用程序中元数据存储库
-
(2)业务术语表
-
(3)商务智能工具
-
(4)配置管理工具
-
(5)数据字典 (1对1)
数据字典定义数据集的结构和内容,通常用于单个(不是多个)数据库、应用程序或数据仓库。
-
(6)数据集成工具
-
(7)数据库管理和系统目录
数据库目录是元数据的重要来源,它们描述了数据库的内容、信息大小、软件版本、部署状态、网络正常运行时间、基础架构正常运行时间、可用性,以及许多其他操作元数据属性。
-
(8)数据映射管理工具
-
(9)数据质量工具
-
(10)字典和目录
-
(11)事件消息工具
-
(12)建模工具和存储库
-
(13)参考数据库
-
(14)服务注册
-
(15)其他元数据存储
6 元数据架构类型
-
(1)集中式元数据架构
-
(2)分布式元数据架构
-
(3)混合式元数据架构
-
(4)双向元数据架构
方法
数据血缘和影响分析
-
血缘分析(比如报告出错 查找问题是什么原因引起的) 由下往上追溯
-
影响分析(比如改了某个字段 查找对系统有哪些影响) 由上往下追溯
度量指标
-
1)元数据存储库完整性
-
2)元数据管理成熟度
-
3)专职人员配备
-
4)元数据使用情况
-
5)业务术语活动
-
6)主数据服务数据遵从性
-
7)元数据文档质量
-
8)元数据存储库可用性