首页 > 其他分享 >从零开始学数据治理——第一课(开篇)

从零开始学数据治理——第一课(开篇)

时间:2023-08-04 19:05:04浏览次数:40  
标签:数据管理 开篇 Data 认证 学习 第一课 从零开始 治理 数据

最近一直在思考几个问题:

  • 数据治理到底该如何学?
  • 先学理论还是先学技术?
  • 如何衡量自己数据治理学习的好坏程度?
  • 有没有一些考试可以验证自己的学习成果?
  • 如果需要招聘一个数据治理的专业人员,除了证书还应该考察他的什么能力?
  • 有哪些书籍是学习数据治理适合阅读的?
  • 如果要学习数据治理理论,应该如何是怎样的学习路线?
  • 如果要学习大数据技术,又应该是怎么的学习路线?

相信这些问题,也同样困扰困扰着大家,困扰着很多想入门数据治理的人员。

下面我也将从大数据技术、数据治理理论、数据治理实践三个方面来介绍。

本文为第一课(开篇)。在后续我也将按照自己积累的经验和学习群大家的讨论内容对后续的内容进行不断的整理。也感谢所有学习群群友的帮助,路漫漫,在数据治理的道路上让我们一起并肩前行。

本文共分为三个大的部分,在未来将按照如下的思维导图对各部分进行讲解,三个部分各自是由浅入深的顺序,但是各部分是相互交叉的,毕竟理论与实践应该相互结合。

当然此知识体系还在不断整理和完善,也欢迎大家加入进来,大家共同进步~

从零开始学数据治理——第一课(开篇)_大数据


本文档版权属于公众号:大数据流动 所有。未经授权,请勿转载与商用!

一、大数据技术

首先强调的是,大数据和数据治理并不是一个东西。数据治理最早的概念在1988年就在麻省理工产生了。

而大数据缘起于Google引爆大数据时代的三篇论文,2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。从根本上说:文件被分割成很多块,使用冗余的方式储存于商用机器集群上。

 2004年公布的 MapReduce论文,论文描述了大数据的分布式计算方式,主要思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理,然后将结果合并从而完成大数据处理。

Bigtable发布于2006年,启发了无数的NoSQL数据库

随后大数据开始了一系列的颠覆活动。

从零开始学数据治理——第一课(开篇)_Data_02

从数据仓库,大数据平台,到数据中台。有些技术细节可以不了解,但是学习每一个组件到底做了什么事,大数据工程的整体运作流程,对于学习数据治理有着巨大的帮助。

因为在当今的企业中,大部分的数据相关工作已经基于大数据技术栈了,大数据已经逐渐成为基础设施。

大数据的学习可以按照思维导图中的大数据技术、大数据运维、数据分析与可视化三个方向去不断的学习与实战。

相对来说实战更为重要,在经过一个完整的项目历练之后就会大数据技术有一个完整的认识了。

二、数据治理理论

对于每一种理论的学习,都需要一个标准。

目前数据治理理论的学习公认的标准就是DAMA。

DAMA-DMBOK 功能框架标识出了11 个主要的数据管理知识领域:
1、数据治理(Data Governance)通过建立一个能够满足企业数据需求的决策体系,为数据管理提供指导和监督
2、数据架构(Data Architecture)定义了与组织战略协调的管理数据资产蓝图,以建立战略性数据需求及满足需求的总体设计
数据建模和设计(Data Modeling and Design)以数据模型的精确形式,进行发现、分析、展示和沟通数据需求的过程
3、数据存储和操作(Data Storage and Operations)以数据价值最大化为目标,在整个数据生命周期中,从计划到销毁的各种操作活动
4、数据安全(Data Security)确保数据隐私和机密性得到维护,数据不被破坏,数据被适当访问
5、数据集成和互操作(Data Integration and Interoperability)包括与数据存储、应用程序和组织之间的数据移动和整合相关的过程
6、文档和内容管理(Document and Content Management)用于管理非结构化媒体数据和信息的生命周期过程,包括计划、实施和控制活动,尤其是指支持法律法规遵从性要求所需的文档
7、参考数据和主数据(Reference and Master Data)包括核心共享数据的持续协调和维护,使关键业务实体的真实信息,以准确、及时和相关联的方式在各系统间得到一致使用
8、数据仓库和商务智能(Data Warehousing and Business Intelligence)包括计划、实施和控制流程来管理决策支持数据,并使知识工作者通过分析报告从数据中获得价值
9、元数据(Metadata )包括规划、实施和控制活动,以便能够访问高质量的集成元数据,包括定义、模型、数据流和其他至关重要的信息(对理解数据及其创建、维护和访问系统有帮助)
10、数据质量(Data Quality)包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性

从零开始学数据治理——第一课(开篇)_Data_03

经过这样的拆分以后,学习起来就要容易很多了。

总体来说,数据治理的学习需要一些制度与规范,也需要一些实际的工作,而这些工作可以借助工具去不断的完善。

那么,理论一般都会有认证,数据治理的认证有什么呢?

数据治理专业人士认证是由DAMA国际数据管理协会颁发的数据治理和数字化转型专业人才能力认证,涵盖了学历教育、工作经验和专业知识考试在内的综合资格认证,是国内数据管理与数字化转型领域人才的权威性专业认证,也是目前全球数据管理方面权威性认证。获得CDMP/CDGA/CDGP认证,已成为职业晋级的核心能力和标志。

从零开始学数据治理——第一课(开篇)_大数据_04

个人建议,如果是自身自制力够,还会自学为主,毕竟这个报名也需要一定的费用。

开始有一定的要求:

从零开始学数据治理——第一课(开篇)_大数据_05


标签:数据管理,开篇,Data,认证,学习,第一课,从零开始,治理,数据
From: https://blog.51cto.com/u_14500431/6966067

相关文章

  • 手把手教你从零开始搭建个人博客
    随着技术的进步和用户需求的变化,个人博客的形式和内容一直在不停地演变。为了给读者提供更丰富、有趣的阅读体验,搭建个人博客的网站一直在寻找更好的优化方法。所以现在出现了一批功能更完善的个人博客搭建软件,今天looklook就以HelpLook为例,一步步教大家怎么去搭建一个属于自己的个......
  • c语言学习第一课
    VS工具提前输入#define_CRT_SECURE_NO_WARNINGS1数据类型char //字符数据类型short//短整型int  //整型long //长整型longlong //更长整型float //单精度浮点数double //双精度浮点数 printf(“%lf\n",d);   lf表示双精度浮点数类型用来向内存申请空间创......
  • WPF学习——开篇
    不知不觉我学习WPF已经两年啦。大部分时间是自娱自乐,只做了一个公司的小项目,有一点不能否认,WPF是我用过的最好的GUI框架。用过WPF之后,Qt,MFC,Duilib什么的碰都不想碰一下,Qt和MFC是差不多档次的大型框架,Duilib是库级别的东西,完全不是一个档次的。当然了,客户端还有新贵electron,但目前......
  • AvaloniaUI(一、开篇安装使用)
    自从.netcore出来以后,我就一直再找.net跨平台的ui框架,从最开始期待maui到后来看到的国产的cpf我感觉都有点差强人意(主要是我不习惯),之前也有关注过avalonia,但是刚开始的时候也没时间来研究,最近一次看avaionia已经更新到了11版本,于是自己赶快下载来看看,因为好多社区开源的版......
  • re: 从零开始的学PPT笔记
    深夜模式:账户\(\rightarrow\)office主题神奇操作:.ppt后缀改成.rar居然可以解压/jy默认设置:账户\(\rightarrow\)保存\(\rightarrow\)字体嵌入;账户\(\rightarrow\)高级设置\(\rightarrow\)不压缩图片默认字体:设计\(\rightarrow\)变体右下角\(\rightarrow\)字......
  • 从零开始针对 .NET 应用的 DevOps 运营实践 - enkins & SonarQube自动化
    从零开始针对.NET应用的DevOps运营实践-MSbuild&Java环境搭建 一、Overview#最近的一段时间,在公司里我都在进行基于Jenkins和SonarQube配合已有的Gitlab搭建部门的持续集成环境的工作,虽然之前有使用过GitHubActions和AzureDevOps,但是从头开始搭建这样的一......
  • 使用MASA Stack+.Net 从零开始搭建IoT平台 第四章 4.4 查询历史数据
    @目录前言分析方案编写代码定义数据类编写查询方法添加ECharts图表效果总结前言IoT平台需要监控设备的运行状态,统计和分析设备传感器数据,使用图表展示是比较常见的场景。使用图表和表格数据组合的Dashboard也可以放在首页作为大屏展示。分析因为我们设备上报的数据都是存储......
  • [回馈]ASP.NET Core MVC开发实战之商城系统(开篇)
    在编程方面,从来都是实践出真知,书读百遍其义自见,所以实战是最好的提升自己编程能力的方式。前一段时间,写了一些实战系列文章,如:ASP.NETMVC开发学生信息管理系统Vue+Antdv+Asp.netWebApi开发学生信息管理系统WPF+Prism+MAH+Asp.netWebApi开发学生信息管理系统ASP.NETCore......
  • 零基础入门——从零开始学习PHP反序列化笔记(二)
    魔术方法魔术方法介绍__construct()触发时机:实例化对象之前构造函数,在实例化一个对象的时候,首先会去自动执行的一个方法;<?phpclassUser{public$username;publicfunction__construct($username){$this->username=$username;echo"......
  • 仿微信聊天程序 - 01. 开篇
    本文是仿微信聊天程序专栏的第一篇文章,主要简要说明仿微信聊天程序的功能需求及架构设计。仿微信聊天程序专栏主要记录了使用JavaFX+Netty开发仿微信聊天程序---米虫IM。功能需求米虫IM已经完成的功能如下:用户注册功能用户登录功能搜索好友功能添加好友功能文本聊天......