首页 > 其他分享 >数据质量框架QUalitis浅尝使用

数据质量框架QUalitis浅尝使用

时间:2024-01-20 18:26:47浏览次数:17  
标签:框架 浅尝 任务 引擎 质量 规则 QUalitis 数据 Linkis

数据质量管理平台(微众银行)Qualitis+Linkis

(一)Qualitis是一个数据质量管理系统,用于监控数据质量。

其功能包括:

  • 数据质量模型定义
  • 数据质量结果可视化
  • 可监控

数据质量管理服务提供一整套统一的流程来定义和检测数据集的质量并及时报告问题

image

(二)Linkis属于上层应用程序和底层引擎之间构建了一层计算中间件。

其功能包括:

  • 丰富的底层计算存储引擎支持:Spark、Hive、Python、Shell、Flink、JDBC、Pipeline、Sqoop、OpenLooKeng、Presto、ElasticSearch、Trino、SeaTunnel 等;
  • 丰富的语言支持:SparkSQL、HiveSQL、Python、Shell、Pyspark、Scala、JSON 和 Java 等可监控
  • 全栈计算存储引擎架构支持: 能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务;

数据质量管理服务提供一整套统一的流程来定义和检测数据集的质量并及时报告问题

没有使用Linkis中间件之前的上传应用和大数据底层引擎的关系

没有Linkis 之前

使用Linkis中间件之前的上传应用和大数据底层引擎的关系

有了Linkis 之后

基于Qualitis做大数据Hive数据质量分析

(一)配置规则计算Linkis系统

image

(二)校验Linkis系统正常接入

image

(三)配置数据质量检测项目

image

(四)配置项目的检测规则

image

image

image

image

(五)执行检测项目的规则任务

image

(六)查看项目规则任务状态

image

(七)数据质量分析

(路径是Linkis所在服务器的HDFS里的路径{由当前用户托管的路径})

image

(八)查看数据质量分析结果

hdfs dfs -get /tmp/linkis/hadoop/hadoop_ClusterName1.3_default_ef04cef1-073a-454a-9506-ba0d5e555ae4.xlsx

image

(九)查看数据质量规则

image

(十)增加任务规则模板

image

(十一)配置质量管理

image

(十二)指标关联检测规则

image

(十三)首页查看质量任务统计

image

标签:框架,浅尝,任务,引擎,质量,规则,QUalitis,数据,Linkis
From: https://www.cnblogs.com/gtnotgod/p/17976904

相关文章

  • CDH6.3.2下安装部署Qualitis数据质量分析的计算服务Linkis1.3.2
    快速搭建Qualitis手册一、基础软件安装Gradle(4.6)MySQL(5.5+)JDK(1.8.0_141)Linkis(1.0.0+),必装Spark引擎。如何安装LinkisDataSphereStudio(1.0.0+)可选.如果你想使用工作流,必装DataSphereStudio如何安装DataSphereStudio?(1)安装Gradle(4.6)腾讯云镜像:http......
  • VUE框架MVVM架构思想解析与实现封装dom对象------VUE框架
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>Document</title>......
  • PHP学习第七天:框架开发与自动化工具
    在PHP学习的第七天,我深入了解了框架开发和自动化工具的使用。早上,我学习了如何使用PHP框架来加速Web应用程序的开发。PHP框架提供了一套预先构建的组件和工具,可以简化开发过程并提高应用程序的可靠性。我学习了Laravel和Symfony这两个流行的PHP框架,并了解了它们的核心概念和特性。......
  • hyperexpress框架/使用uwebsockets.js核心
    import{scheduleJob}from'node-schedule';//定时任务functionsetupScheduledTasks(){//每6秒执行一次setInterval(()=>{taskEverySixSeconds();},6000);//每33分钟执行一次setInterval(()=>{taskEve......
  • 基于flask框架的python作为微信小程序后端的实现方法(个人版)
    Flask基础语法引入Flask类fromflaskimportFlask创建一个app,也就是Flask类的一个对象app=Flask(__name__)接下来写每个路径对应的函数如@app.route('/')deftest()#这里函数可以任意命名,这个函数会在访问括号里路径的时候被调用 return"helloworld"这三行代码......
  • jax框架:jax.grad
    官方地址:https://jax.readthedocs.io/en/latest/_autosummary/jax.grad.html#jax.grad这里只给出几个样例代码:设置allow_int参数,实现对整数类型求导:未对整数类型求导:importjaxdeffun(x,y):print(x,y)returnjax.numpy.sum(2*x[0]+y[0]+2*x[1]+......
  • uWebSockets.js 框架经验
    目录结构project/│├──src/│├──app.ts│├──routes/││├──userRoutes.ts││└──index.ts│├──entities/││└──User.ts│├──utils/││└──parseQuery......
  • 使用Nuxt框架刷新页面向后端接口请求两次的问题
    背景:当我刷新页面时,发现后端接口被请求了两次前端使用框架:nuxt、vue、axios等后端使用框架:springboot、maven、redis、mybatisplus等主页面程序代码<script>importhomePagefrom'@/api/homePage'exportdefault{data(){return{bannerList:[],//轮播......
  • Jax框架:通过显存分析判断操作是否进行jit编译
    相关:https://jax.readthedocs.io/en/latest/device_memory_profiling.html代码:importjaximportjax.numpyasjnpimportjax.profilerdeffunc1(x):returnjnp.tile(x,10)*0.5deffunc2(x):y=func1(x)returny,jnp.tile(x,10)+1x=jax.random.......
  • ICDM'23 BICE论文解读:基于双向LSTM和集成学习的模型框架
    本文分享自华为云社区《ICDM'23BICE论文解读》,作者:云数据库创新Lab。导读本文《EfficientCardinalityandCostEstimationwithBidirectionalCompressor-basedEnsembleLearning》是由华为云数据库创新Lab联合电子科技大学数据与智能实验室发表在顶会ICDM’23的长文。ICDM......