首页 > 其他分享 >dataCompare核心功能之数据探针

dataCompare核心功能之数据探针

时间:2023-04-23 19:32:02浏览次数:34  
标签:dataCompare 开发人员 核心 探针 探测 开干 table 数据

1数据探针产生的背景

在数据开发和接入的过程中,数据开发人员接到一个需求或者一条新的业务线可能需要搭建数仓,做数据处理,然后提供一些指标数据给到需求方,如果是你这边会怎么开始呢?

直接开干?抽表,清洗,分层,建模?

然后发现做完之后,怎么数据各种不对,取不到想要的数据,比如说:业务上说明明一个字段为空比例非常少(1%以内),但是加工出来的数据问题非常多?比如说:空值占比接近30%,然后报表显示的结果就各种问题,然后又往上排查发现,原来是别人提供的数据,或者采集的数据有问题

所以一上来开干,这就是瞎搞。啥也不知道不了解的情况下,对数据源一无所知的情况下,是谁给你勇气直接开干的?干完之后返工成本更大

dataCompare核心功能之数据探针_数据

2正常的数据开发流程

接到新的数据需求或者任务的时候,最开始应该需要做一下数据调研,即数据探查(也就是标题上提的数据探针),发现数据潜在的问题。

dataCompare核心功能之数据探针_数据_02

那数据探针到底要探测哪些内容呢?

dataCompare核心功能之数据探针_开发人员_03

3现状

大多数数据开发人员的处理方法:写大量的sql

比如:

总行数据:select count(*) from table_name;

枚举值:select table_column,count(*) as cnt from table_name group by table_column 等等

4数据探针

4.1低代码、少量配置即可实现探查任务

4.2将数据探测标准化,避免不同的数据开发人员采用不同的探测标准,做标准统一

4.3快速完成数据探测:30秒完成探测任务配置,2分钟出探测结果

5功能演示

5.1探测任务配置

dataCompare核心功能之数据探针_数据_04

5.2探测结果详情

dataCompare核心功能之数据探针_数据_05

dataCompare核心功能之数据探针_处理方法_06

dataCompare核心功能之数据探针_数据_07

标签:dataCompare,开发人员,核心,探针,探测,开干,table,数据
From: https://blog.51cto.com/u_15130867/6218559

相关文章

  • 快速上手Linux核心命令(三):文件和目录操作命令
    @目录前言cd切换目录pwd显示当前路径ls显示目录下内容及相关属性信息mkdir创建目录tree以树形结构显示目录下的内容touch创建空白文件或改变文件的时间戳属性cp复制文件或目录mv移动或重命名文件rm删除文件或目录chown改变文件或目录的用户用户组chmod改变文件或目录的......
  • Java核心机制
    Java核心机制1.Java虚拟机1.JVM是一个虚拟的计算机,具有指令集并使用不同的存储区域。负责执行指令,管理数据,内存,寄存器。2.对于不同的平台,有不同的虚拟机。3.Java虚拟机机制屏蔽了底层运行平台的差别,实现了“一次编译,到处运行”。2.垃圾自动回收1.垃圾回收:不再使用的内存空间......
  • 快速上手Linux核心命令(一):核心命令简介
    Linux核心命令系列文章目录快速上手Linux核心命令(一):核心命令简介快速上手Linux核心命令(二):关机、重启快速上手Linux核心命令(三):文件和目录操作命令快速上手Linux核心命令(四):文件内容相关命令快速上手Linux核心命令(五):文本处理三剑客快速上手Linux核心命令(六):Linux的文本编辑器vi......
  • 数据库校验用户核心代码实现、用户密码加密存储
    数据库校验用户核心代码实现核心代码实现创建一个UserDetailsService接口,重写其中的方法。更加用户名从数据库中查询信息@ServicepublicclassUserDetailsServiceImplimplementsUserDetailsService{@AutowiredprivateUserMapperuserMapper;@Overrid......
  • 领域驱动设计-软件核心复杂性应对之道:第三章
    三、绑定模型和实现模型种类繁多,目的各有不同,即使是那些仅用于软件开发项目的模型也是如此。领域驱动设计要求模型不仅能够指导早期的分析工作,还应该成为设计的基础。这种设计方法对于代码的编写有着重要的暗示作用。不太明显的一点就是:领域驱动设计要求一种不同的建模方法...........
  • 数据对比DataCompare系统设计原理
    1背景介绍在日常数据研发工作中,我们会遇到如下常见场景问题,其一为:数据测试人员要对产出多表的一致性进行检测,其二为:数据对账体系,如资金流和订单数据要保持一致,其三为:数据模型迁移过程中,要对迁移前后的数据进行对比,其四为:数据存储在不同库中,例如A存储到ODPS,B存储到ADB,其中AB库中数据......
  • 微服务架构下的核心话题 (三):微服务架构的技术选型
    前期回顾:微服务架构下的核心话题(一):微服务架构下各类项目的顺势崛起微服务架构下的核心话题(二):微服务架构的设计原则和核心话题一、前言为了实现基于微服务开发的产品,或者说为了将单体应用重构为微服务架构时,将面临着众多技术框架的选择。大公司往往会有专门的部门或团队来负......
  • 七大关键技术,华为云数据库GaussD承载金融级核心系统
    金融行业,尤其是银行业是对数据库依赖度极高、又对数据库要求最为严苛的行业。随着互联网及移动互联网技术的兴起,网上银行、手机银行、电子支付等新业态出现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。以往银行业务架构采用的大/小型机+......
  • 团体程序设计天梯赛 L1-064 估值一亿的AI核心代码 题解
    思路L1-064估值一亿的AI核心代码题意有一点不太清晰的,就是原文中的'I',无论是否是单独的,都不能变为小写。如果是单独的'I'再被转化为'you'。这种模拟题就需要每个的分分清清楚楚的,不要都揉到一块儿,容易写错。具体还有些需要注意的在代码里注释着了。代码#include<iostream>......
  • 智能路灯智慧灯杆有哪些核心设备?
    智能路灯智慧灯杆作为智慧城市物联网的重要入口,不仅可以多维度感知环境,全方位采集环境数据、交通数据、视频数据以及各类能耗数据,还可以搭载丰富的功能设备,提供多样的市政服务。  智慧灯杆系统涵盖杆件、挂载设备、附属配套设施及管理平台,那么智能路灯智慧灯杆有哪些核心......