首页 > 其他分享 >数据治理调研、企业数据治理方案、数据治理的范围

数据治理调研、企业数据治理方案、数据治理的范围

时间:2023-07-13 10:36:46浏览次数:29  
标签:数据交换 调研 业务 质量 企业 数据 治理

 

一、背景

大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为企业信息化建设的一个重点领域。当前各大厂商、用户都在探索与数据相关的开发技术、应用场景和商业模式,最终目的就是挖掘数据价值,推动业务发展,实现盈利。目前数据应用项目非常多,但真正取得预期效果的项目少之又少,而且开发过程困难重重,其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。如果没有数据治理,再多的业务和技术投入都是徒劳的,因为很经典的一句话:Garbage in Garbage out。数据治理是保证数据质量的必需手段,从全球范围来看,加强数据治理提升数据质量已成为企业提升管理能力的重要任务。

随着一系列与数据相关的法律法规和标准陆续发布,我国的数据基础制度体系建设不断完善。国家陆续出台的《网络安全法》、《数据安全法》及《个人信息保护法》等基法律对数据进行监管和保护。数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。从目的来讲,数据治理就是要对数据的获取、处理和使用进行监督管理。

总体来看,数据治理的侧重点主要体现在数据治理的范围、治理主体的职责、数据治的理目标、数据治理的过程及其规范。在当前已有的定义中,以DAMA(国际数据管理协会)、DGI(国际数据治理研究所)、IBM数据治理委员会三家机构提出的最具权威性,因而被广泛应用。

二、企业的数据治理

数据治理是一个对企业数字化转型至关重要的一个环节,关乎着企业核心数据是否能被规范化管理、数据的价值是否能被充分发挥等等。企业数据的一致性、准确性和可信度能给企业实现降本增效、业务精细化运营、重要决策制定、产品优化迭代等多方面的收益。当前,数据已成为一种重要的资产,是组织进行管理、生产和行动的重要职称。

数据治理是一个系统的、大型的、长期的工程,大型企业已经开始了实施,并取得了一定成果,但目前普通企业在数据治理方面还没有开始真正意义上的实践,究其原因,大部分企业还没有把数据治理的重要性提升到战略高度,数据治理是一项非常抽象且庞大的内容,单靠一个人或者单个团队很难达成理想化的效果,所以在数据治理的过程中需要根据企业的体量、业务的复杂度等角度对数据治理的组织架构进行专业的划分。数据治理对于组织来说,就是一次权力的再分配。这其实意味着:(1)数据治理从来都是一把手工程;(2)数据治理直接负责人,一定要合理的协调能力,协调各方,并最终建立数据治理规则。

什么是数据治理:

 

数据治理的目的:

  • 确保数据的准确性和一致性,以保证业务决策的正确性。
  • 保护数据的安全性和隐私性,以避免数据泄露和滥用。
  • 优化数据的利用和共享,以提高业务效率和创新能力。

数据治理痛点:这些痛点可能来源于业务、技术、运维、产品等不同的和数据相关的成员,具体的痛点大致可以分为以下几类及对应的解决方法。

数据治理的实现路径:在标准规范和安全、质量的两个管理基本规则的限制之下,由基础的硬件设施、搭建数据治理平台,再到建立良好的数据治理规则和核心体系。

 数据治理持续迭代流程: 发现数据质量问题 > 定义数据质量规则 > 质量控制 > 质量评估 > 质量优化

 数据管控示意图:数据管控会根据企业实际情况,进行数据质量管控、元数据管控等某些方面的管控,偏向技术和执行层面。既管理,又控制,就像理论和实践的结合。

 

三、数据治理的范围
数据治理项目的范围通常都会包含:组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等几个模块。

元数据管理
元数据从数据的角度可以分为三类:业务元数据、技术元数据和管理元数据。

业务元数据是从业务的视角去描述数据:表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述;
技术元数据从技术的角度去描述数据:表的sql、字段长度、字段类型、有效值、默认值等多种技术描述;
管理元数据是包含数据管理的信息在里面,例如:表的业务属主、表的技术负责人、表的读权限等

元数据不仅仅表示数据的类型、名称、值等信息,它可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元数据。

 主数据

指满足跨部门业务协同需要的、反映核心业务实体状态属性的组织机构的基础信息。主数据相对于交易数据而言,属性更加稳定,准确度要求更高,唯一识别.

 

数据质量

数据质量是指在业务环境下,数据符合数据消费者的使用目的,数据质量需要满足业务场景具体的需求。数据质量包含两个方面:数据自身的质量和数据的过程质量。

数据自身的质量很好理解,比如数据必须真实准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾等等。

数据标准

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。

数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。

数据交换

出于各种原因,组织会选择数据交换与共享。例如,内部与内部的数据交换共享,企业与企业之间的数据交换共享,以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。用于实现不同机构不同系统之间进行数据或者文件的传输和共享,提高信息资源的利用率,保证了分布在异构系统之间的信息的互联互通,完成数据的收集、集中、处理、分发、加载、传输,构造统一的数据及文件的传输交换。

组织建设

需要打破企业内部壁垒,构建多部门共同参与的数据治理组织,提升数据治理重要性。成立数据治理专项团队,包括数据治理委员会、数据治理团队、各业务部门等层层递进的组织架构。在绩效、团队、资源等方面支持数据治理的持续运营,达成企业数据中台的数据战略体系转型。

数据资产

数据资产是指由企业拥有或者控制的,汇集企业所有能够产生价值的数据资源,为用户提供资产视图,快速了解企业资产,发现不良资产,为管理员提供决策依据,提升数据资产的价值。能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。但在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。

数据安全

提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略,确保数据在使用过程中有恰当的认证、授权、访问和审计等措施

 

从互联网收集整理

阿里云9.9元云服务器限时购买

标签:数据交换,调研,业务,质量,企业,数据,治理
From: https://www.cnblogs.com/hiit/p/17505827.html

相关文章

  • 【Python】数据可视化利器PyCharts在测试工作中的应用
    PyCharts简介PyCharts是一个基于Python的数据可视化库,它支持多种图表类型,如折线图、柱状图、饼图等。PyCharts提供了简洁的API,使得用户能够轻松地创建各种图表,同时支持个性化的配置,以满足不同需求。PyCharts的底层依赖于ECharts,这使得它在功能和性能上都具有很高的优势。......
  • 数据结构--查找
    数据结构--查找7.1查找的概念在哪里找?---查找表查找表是由同一类型的数据元素(或记录)构成的集合.由于"集合"中的数据元素之间存在着松散的关系,因此查找表是一种灵便的结构什么是查找?-----根据给定的某个值,在查找表中确定一个关键字等于给定值的数据元素或(记录).......
  • 数据结构学习5
    17、顺序查找①查找的基本概念基本概念查找表:由同一类型的数据元素(或记录)构成的集合查找:查询特定元素是否在表中查找成功:若表中存在特定元素,称查找成功,应输出该记录查找不成功:表中不存在给定值的元素,称查找不成功静态查找:只查找,不改变集合内的数据元素动态查找:......
  • 数据结构学习6
    21、哈希查找表①哈希表的基本概念哈希表的概念哈希表:即散列存储结构散列存储的基本思想:建立关键码与存储位置对应关系,或者说由关键码的值决定数据的存储的地址。优点:查找速度极快,查找效率与元素个数无关例1:若将学生信息按如下方式存入计算机,如:将2001011810201的......
  • 数据库编程概述
    数据库编程概述PL/SQLProcedureLanguage封装了sql语句的过程语言。如何在数据库中定义过程语言。Declare声明变量;begin程序处理过程;exceptionend;--eg1:查询目标工资打印输出setserveroutputon;---开启输出declarev_namevarchar2(20);v_sal number;begin......
  • 数据结构学习3
    9、栈的链式存储结构及实现定义栈的链式存储结构称为链栈,是运算受限的单链表。其插入和删除操作只能在表头位置上进行。因此,链栈没有必要像单链表那样附加头结点,栈顶指针top就是链表的头指针。对于链栈来说:1.不需要头结点2.不存在栈满的情况3.top=NULL,为空栈示意图:链......
  • JS去除对象数组中指定字段为空的数据
     去掉为空字段constfilteredArr=this.arouselList.filter((obj)=>{                return!(Object.prototype.hasOwnProperty.call(obj,'pic')&&(obj.pic===null||obj.pic===undefined));               });去掉不......
  • 数据库模式对象
    数据库模式对象对象名称作用TABLE表存储数据的基本结构最小单元VIEW视图以不同的侧面反映表的数据,是一种逻辑上的表INDEX索引加快表的查询速度CLUSTER聚簇将不同表的字段并用的一种特殊结构的表集合SEQUENCE序列生成数字序列,用于在插入时自动填充表......
  • ble开发 wireshark抓取蓝牙数据
    1.下载 Microsoft蓝牙测试平台软件包官网下载点击下载即可 2.安装全部选择默认然后点下一步3.安装下载wireshark官网下载 选择合适的版本安装时选择好路径即可 4.BTP的文件路径为C:\BTP打开C:\BTP\v1.14.0\x86\btvs它会自动打开wireshark 5.点击FullPacketL......
  • noi数据分析工具
    importbase64importjsonimportrequestsimporttimearr=['戚朗瑞','王相文']headers={"accept":"*/*","accept-language":"zh-CN,zh;q=0.9","cache-control":"no-cache&......