首页 > 其他分享 >数据治理 - [01] 关于数据质量的问题

数据治理 - [01] 关于数据质量的问题

时间:2024-06-05 10:11:15浏览次数:24  
标签:01 阈值 治理 数据量 数据处理 告警 数据

题记部分

 

一、如何保证数据质量问题

在数据处理的每一个环节,根据业务要求,提前设置好告警规则。

比如,

(1)设置日增数据量的阈值以及对于计算结果、某些关键指标的阈值;

(2)从数据源获取到数据之后的第一步,就可以根据这个制定的规则,先看数据量是否在阈值范围内,比如正常的情况下,应该是1万条数据。阈值上下浮动10%。(9000 —— 11000),实际数据量只有1000条,这时候就应该马上触发告警。运维/开发人员第一时间干预。和金额有关的,需要马上终止后面的数据处理流程,避免数据进入下游进一步扩大影响范围。

 

 

 

— 业精于勤荒于嬉,行成于思毁于随 —

标签:01,阈值,治理,数据量,数据处理,告警,数据
From: https://www.cnblogs.com/houhuilinblogs/p/18232402

相关文章