首页 > 其他分享 >【数据质量人人有责】数据质量是什么?

【数据质量人人有责】数据质量是什么?

时间:2024-06-14 19:01:42浏览次数:11  
标签:准确性 一致性 完整性 质量 人人有责 数据 确保

8691b13b795804c41c9da688d7f03ab5.jpeg

引言:数据是当代企业的核心资源之一,对于支持业务决策、优化运营和增强竞争力至关重要。然而,仅仅拥有数据并不意味着能够充分发挥其潜在价值。只有先确保数据质量,才能保证后续数据分析和挖掘的正确的结果对管理和业务有价值,才能发挥数据的价值;从这个角度来说,数据质量是数据机制的生命线。因此保证数据质量,人人有责。

那数据质量是什么?

数据质量是指数据的准确性、完整性、一致性、可靠性、可理解性等方面的综合表现。准确的数据能够真实反映业务情况,完整的数据能够覆盖所有相关方面,一致的数据能够确保信息的一致性,可靠的数据能够减少错误和偏差,可理解的数据能够方便用户理解和使用。

产生数据质量诱因有哪些?

039c0db5e1b65aef77e5f3ae3cbe974d.jpeg

数据质量的标准有哪些?来自于DAMA数据管理知识体系指南答案如下:

6bc5485077e4c798f764178ef975e3c4.jpeg

数据质量是如何管理的?数据质量的事前、事中和事后管理是一个系统性的过程,旨在确保数据的准确性、完整性、一致性等关键属性。

57f87804dbb79333f030d7b6a16e2a14.jpeg

事前预防控制:主要侧重于在数据产生和收集阶段就设定好质量标准和预防措施,包含的内容如下:

1.明确数据Owner:数据Owner是所辖数据端到端管理的责任人,负责数据定义、数据标准和密级,承接数据消费中的数据质量问题,并制定数据管理工作路标,持续提升数据质量。

2.发布数据标准:制定并发布业务数据标准,描述公司层面需共同遵守的“属性层”数据的含义和业务规则,作为数据质量管理的基石。

3.认证数据源:通过认证数据源,确保数据从正确的源头流入,并作为唯一数据源被调用。

4.定义数据密级:为了保证数据的安全和共享,需要对数据进行定密,不同密级的数据有不同的消费要求。

5.数据质量评估:在数据产生之前,就对其潜在的质量问题进行评估,以便提前制定应对策略。

6.元数据注册:将数据的业务元数据和技术元数据进行关联,便于后续的数据管理和使用。

事中过程控制:主要关注数据在使用过程中的质量监控和维护,包含的内容如下:

1.实时监控:通过数据可视化、数据报表等方式,实时监控数据的状态,发现异常及时处理。

2.数据校验:采用数据检测、数据比对等手段,对数据的准确性、完整性、一致性进行校验。

3.流程优化:根据数据使用情况和反馈,不断优化数据处理流程,提高数据质量。通过企业管理制度的建设,形成数据认责体系,让数据填报人员对自己反馈数据质量的负责,如数据真实性、数据规范和及时性等。数据质量人人有责通过流程落地方法: 可以在数据填报人员在总部审核之中增加一环节,即填报人员的直属领导对数据进行审核;总部人员对数据进行审批。对于虚报经营数据严肃处理并通报,对于及时反馈真实数据的情况予以激励和表扬,加强填报人员的数据质量意识,提高填报数据的数据质量,提高集团收集数据的效率,降低管理成本。

事后监督控制:侧重于数据问题出现后的补救和总结经验教训,包含的内容如下:

1.定期质量监控:对数据的整体质量进行定期评估,发现问题及时整改。

2.数据问题补救:对发现的数据问题进行清理、修复、整合等处理,确保数据的准确性和完整性。

3.经验总结:对数据处理过程中出现的问题进行总结分析,提炼经验教训,为未来的数据质量管理提供参考。

总结:数据质量的事前、事中和事后管理是一个循环往复的过程,需要不断地进行数据质量评估、监控、改进和优化。通过这三个阶段的有效管理,可以确保数据的准确性、完整性、一致性等关键属性得到保障,为企业决策提供可靠的数据支持。


推荐资料包介绍:本资料包提供了一份精炼的指南,用于理解和实施有效的数据治理方案。它首先定义了数据治理这一概念,强调其在确保数据质量、安全性、合规性和有效利用中的重要性。接着,资料包深入探讨了大数据治理的特殊挑战,包括处理海量、多样化数据集的策略和技术。文档总结了数据治理的关键组成部分,并提供了实用的指导和最佳实践,旨在帮助组织建立和维护一个健全的数据治理体系,以支持决策制定并保护关键资产。

资料包部分目录和内容:

5bef3af0070b579f675c1f8bc779021e.jpeg

a695d3837192341d8cac966cfbd8cdc7.jpeg

标签:准确性,一致性,完整性,质量,人人有责,数据,确保
From: https://blog.csdn.net/hmcm9/article/details/139688095

相关文章

  • R语言门限误差修正模型(TVECM)参数估计沪深300指数和股指期货指数可视化|附代码数据
    全文链接:http://tecdat.cn/?p=32511原文出处:拓端数据部落公众号时间序列模型的理论已经非常丰富,模型的应用也相当广泛。但现实生活中,越来越多的时间序列模型呈现出了非线性的特点,因此,研究非线性时间序列模型的理论及对其参数进行估计有着极其重要的意义。门限模型作为非线性......
  • 【专题】2024绿色供应链白皮书报告合集PDF分享(附原数据表)
    原文链接:https://tecdat.cn/?p=36468原文出处:拓端数据部落公众号最新的调研数据揭示,大部分企业已经深刻认识到供应链在环境、社会与治理(ESG)领域的重要性,并已经开始付诸实践。尽管如此,企业在供应链ESG的成熟度上仍有显著的进步空间,其中供应链伙伴间的协同合作、数据获取的便捷性......
  • Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据
    全文链接:https://tecdat.cn/?p=36004原文出处:拓端数据部落公众号随着大数据时代的来临,深度学习技术在各个领域中得到了广泛的应用。长短期记忆(LSTM)网络作为深度学习领域中的一种重要模型,因其对序列数据的强大处理能力,在自然语言处理、时间序列预测等领域中取得了显著的成果。然......
  • MATLAB偏最小二乘回归(PLSR)和主成分回归(PCR)分析光谱数据|附代码数据
    全文链接:http://tecdat.cn/?p=2655最近我们被客户要求撰写关于偏最小二乘回归(PLSR)和主成分回归(PCR)的研究报告,包括一些图形和统计输出。此示例显示如何在matlab中应用偏最小二乘回归(PLSR)和主成分回归(PCR),并讨论这两种方法的有效性当存在大量预测变量时,PLSR和PCR都是对因变量建模......
  • automa学习:写一个取某东图书数据的片断
    周五了,实在没事情了。正好上午有个朋友问automa的事,心想再写一个练习一下,毕竟,熟能生巧。目标某东图书:分析及介绍如下。1.新建标签页1.悬停元素。要注意县停.cate_menu_item:nth-child(14)>.cate_menu_lk:nth-child(1) 点击元素,即上面画圈的地方,该区域可以用元素......
  • 【视频讲解】LSTM神经网络模型在微博中文文本评论情感分析和股市预测应用附代码数据
    全文链接:https://tecdat.cn/?p=36471原文出处:拓端数据部落公众号分析师:ShuaiFung本文将通过视频讲解,展示如何用python的LSTM模型对中文文本评论情感分析,并结合一个TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化实例的代码数据,为读者提供一套完整......
  • 18.9k star!一个高性能的嵌入式分析型数据库,主要用于数据分析和数据处理任务。
    大家好,今天给大家分享的是一个开源的面向列的关系数据库管理系统(RDBMS)。DuckDB是一个嵌入式的分析型数据库,它提供了高性能的数据分析和数据处理能力。DuckDB的设计目标是为数据科学家、分析师和数据工程师提供一个快速、灵活且易于使用的数据分析工具。它支持SQL查询语言,并提......
  • MySQL 游标遍历每一行数据做处理。
     delimiter$$--分隔标记CREATEPROCEDUREprocess_test()begin--声明变量declareSuoshuQY_pvarchar(255);declaredoneint;declarecurcursorforSELECTSuoshuQYasSuoshuQY_pFROMdiy_cabinet_listWHEREIsDeleted=0;declareco......
  • 【Python&RS】基于Rasterio库裁剪栅格数据&压缩栅格影像
        之前分享过【Python&RS】Rasterio库安装+基础函数使用教程,大家有兴趣的可以去看看。由于最近有涉及到栅格裁剪和压缩的问题,所以研究了一下今天和大家分享分享。原创作者:RS迷途小书童博客地址:https://blog.csdn.net/m0_56729804?type=blog1需要的库import......
  • 数据链路层
    数据链路层的功能加强物理层传输原始比特流的功能,提供逻辑链路的功能,使得数据链路层上层的网络层能够透明地传输数据。为网络层提供服务组帧和透明传输差错控制流量控制链路管理(连接的建立、维持、释放)根据类别不同,提供给网络层的服务分为三种无连接的无确认的服务无......