题记部分
一、如何保证数据质量问题
在数据处理的每一个环节,根据业务要求,提前设置好告警规则。
比如,
(1)设置日增数据量的阈值以及对于计算结果、某些关键指标的阈值;
(2)从数据源获取到数据之后的第一步,就可以根据这个制定的规则,先看数据量是否在阈值范围内,比如正常的情况下,应该是1万条数据。阈值上下浮动10%。(9000 —— 11000),实际数据量只有1000条,这时候就应该马上触发告警。运维/开发人员第一时间干预。和金额有关的,需要马上终止后面的数据处理流程,避免数据进入下游进一步扩大影响范围。
— 业精于勤荒于嬉,行成于思毁于随 —
标签:01,阈值,治理,数据量,数据处理,告警,数据 From: https://www.cnblogs.com/houhuilinblogs/p/18232402