首页 > 数据库 >从此告别写SQL!DataLeap帮你零门槛完成“数据探查”

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”

时间:2023-04-17 12:01:58浏览次数:69  
标签:探查 校验 用户 枚举 DataLeap SQL 数据

 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

在日常数据处理工作中,产品、运营、研发或数据分析师经常会面临数据量大且混乱、质量参差不齐的问题,需要花费大量时间和精力校验表数据是否完整、是否有空值,表数据是否有异常、主键是否重复等。

这种校验工作也被称为“数据探查”,即数据负责人在上线前对数据进行测试,保证数据符合业务预期,避免下游用户因为数据错误导致决策失误;或者数据使用者在启用数据表时,对表中数据的质量进行核对,尽早发现缺陷并处理,加强数据质量保障。

一般来说,数据从业者会通过写 SQL 的方式来进行数据探查。但作为数据库查询语句,SQL 具备一定专业门槛,并且重复操作、花费时间。

火山引擎 Dataleap 推出的“数据探查”功能,可一举解决以上问题,帮助数据从业者校验数据量、主键、空值、枚举值等数值。用户只要进行简单的勾选操作,就能轻松获得详细、准确的可视化校验报告,极大节约时间成本,提升工作效率。

具体来说,用户从 DataLeap 进入「数据质量」即可找到「数据探查」模块,从这一界面中点击「确定」按钮即可创建校验。除此之外,用户在 DataLeap 中创建 EMR/LAS SQL 相关类型任务之后,也可以通过任务面板上的「数据校验」button 进入「数据探查」模块。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据

第一步:选择数据源

根据引擎侧选择探查对象,用户可在页面中选择表和库,并设置分区,和对应的探查设置,随后提交确认。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据_02

第二步:选择校验内容

如下图所示,在随后的详细设置页面中,使用者对表 NULL 值、0 值、数值分布、字段枚举值、字段空值等需要校验的项目进行勾选。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据探查_03

第三步:高级参数设置

在参数设置中,支持以传参方式设置探查滤条件,点击确定,即可完成。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据治理_04

管理探查结果

数据探查创建成功后,可以执行查看探查报告、搜索探查结果、查看运行日志等操作,点击探查结果列表前的折叠图标或点击全部展开按钮,展开列表信息

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据探查_05

校验报告一览

最后,用户通过「数据探查」能够得到什么信息呢?DataLeap 将表中的数据信息以概览和图表的方式进行呈现。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据探查_06

①标题及概览

用户可以一目了然看到校验的基本参数:如谁发起的校验、探查完成时间、分区字段及过滤条件等。

在校验概览中,用户可以看到整张表的探查规则下行数的枚举值分布,主键重复的行数,出现空值的字段数。

②字段枚举值

左侧可选择用户指定的枚举字段,右侧以列表展示该枚举字段下的所有枚举值及其出现次数,以及在各个分组取值下的枚举值数量。

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”_数据探查_07

除了数据探查能力之外,作为大数据研发治理套件,DataLeap 还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。


点击跳转 大数据研发治理DataLeap 了解更多

标签:探查,校验,用户,枚举,DataLeap,SQL,数据
From: https://blog.51cto.com/bytedata/6194899

相关文章

  • 从此告别写 SQL!DataLeap 帮你零门槛完成“数据探查”
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在日常数据处理工作中,产品、运营、研发或数据分析师经常会面临数据量大且混乱、质量参差不齐的问题,需要花费大量时间和精力校验表数据是否完整、是否有空值,表数据是否有异常、主键是否重复等......
  • AlmaLinux 9 安装 MySQL 8.0.32
    1、配置安装源#安装dnfinstallhttp://mirrors.ustc.edu.cn/mysql-repo/mysql80-community-release-el9.rpm-y#修改配置sed-i's@http://repo.mysql.com/@http://mirrors.ustc.edu.cn/mysql-repo/@g'/etc/yum.repos.d/mysql-community*.repo2、安装MySQLdnfinst......
  • PG技术大讲堂 - 第14讲:PostgreSQL 检查点
     PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUGPG技术大讲堂。Part14:PostgreSQL检查点内容1:检查点触发机制内容2:检查点作用......
  • MySQL8.0 优化器介绍(二)
    GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。作者:奥特曼爱小怪兽文章来源:GreatSQL社区投稿上一篇MySQL8.0优化器介绍(一)介绍了成本优化模型的三要素:表关联顺序,与每张表返回的行数(过滤效率),查......
  • mysql数据库的登录脚本
    ######################## ku脚本:可以使用以下ku脚本,它可以根据提供的参数登录到MySQL数据库:#!/bin/bash#Checkforcorrectnumberofargumentsif[$#-lt1];thenecho"Usage:$0<ip>[<port>][<mysqloptions>]"exit1fi#SettheIPaddressand......
  • 网络安全与Kali Linux:Sqlmap数据库注入与渗透环境搭建
    一、背景介绍DVWA(DamnVulnerableWebApp)是一个基于PHP/MySql搭建的Web应用程序,旨在为安全专业人员测试自己的专业技能和工具提供合法的环境,帮助Web开发者更好的理解Web应用安全防范的过程。DVWA一共包含十个模块分别是:1.BruceForce//暴力破解1.CommandInjection//命令......
  • mysql和redis测试
    Go单测从零到溜系列2—MySQL和Redis测试发布于2021/09/14,更新于2021/09/1422:31:17|Golang|总阅读量:480次这是Go语言单元测试从零到溜系列教程的第2篇,介绍了如何使用go-sqlmock和miniredis工具进行MySQL和Redis的mock测试。在上一篇《Go单测从零到溜系列1—网络测试》中,......
  • MySQL数据库DDL表结构操作
    前言本专栏内容将会详细讲解MySQL数据库技术。数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深,全面讲解数据库体系。非常适合零基础的小伙伴来学习。全文大约【1092】字,不说废话,只讲可以让你学到技术、明白原理的纯干货!本文带......
  • TiDB与MySQL的SQL差异及执行计划简析
    作者:京东零售肖勇一、前言导读TiDB作为NewSQL,其在对MySQL(SQL92协议)的兼容上做了很多,MySQL作为当下使用较广的事务型数据库,在IT界尤其是互联网间使用广泛,那么对于开发人员来说,1)两个数据库产品在SQL开发及调优的过程中,都有哪些差异?在系统迁移前需要提前做哪些准备?2)TiDB的执行计......
  • Qt 连接 mysql 报错 QSqlDatabase: MYSQL driver not loaded
    参考: https://blog.csdn.net/o___GRoot/article/details/111320313 https://blog.csdn.net/sksukai/article/details/105344308 我的解决步骤:1.指定qmake qmake:couldnotexec‘/usr/lib/x86_64-linux-gnu/qt4/bin/qmake’:Nosuchfileordirectory需要修改如下......