首页 > 其他分享 >Datahub新版本0.9.1更新,列级别数据血缘功能发布!

Datahub新版本0.9.1更新,列级别数据血缘功能发布!

时间:2022-11-03 09:11:58浏览次数:40  
标签:0.9 视频 级别 血缘 Datahub 数据 该列

大家好,我是独孤风。

近期Datahub进行了一次大的版本更新,从0.9版本以后Datahub也正式发布了列级别数据血缘的功能。

0.9.1版本又增加了,列的影响分析这个功能。

这样Datahub对于列级别数据血缘的功能支撑就非常完善了。

目前Datahub支持列级别数据血缘的主要功能有。

1、建立列级别数据血缘的API
2、Snowflake和Looker,Tableau的列级别数据血缘实现
3、列级别数据血缘的可视化
4、列的影响分析

列级别的数据血缘非常的重要。主要是从“来”和“去”两个方向对于数据血缘进行分析。

1、理解列如何计算产生的。

该列是否由敏感数据计算产生。
计算该列数据都进行了什么运算?

2、理解该列如何被使用
可否弃用该列,而不影响后续的指标计算。
该列用于了哪张图表?

与Atlas的展示不同,Datahub将列血缘和数据集血缘放在了一起展示,对于数据脉络的理解也更加的清晰。

另外Datahub也发布了未来一段时间的开发计划表,值得关注的有:
2022年四季度 ,实现Bigquery和Redshift 的列级别数据血缘。
2023年一季度,实现对Spark的支持。

这也让我们对Datahub的未来有了更多的期待,赶紧升级用起来吧!

另外,在这几年的写作中,我也发现了除了文字以外,用视频的方式来表达可能会更加的清晰,生动,效率更高。所以我也在近期开通了大数据流动的视频号。以后也会在视频号中做一些教程,功能展示,部署演示等等作品出来。

这次的Datahub列级别数据血缘,我也做了一个简洁的视频进行介绍,不过视频制作我还是小白,也是第一次尝试配音。有不足之处还希望大家多多谅解,我会不断的改进。

也希望大家多多关注,转发。这是我坚持下去的唯一动力!

大数据流动视频号作品 《Datahub列级别数据血缘演示说明》

标签:0.9,视频,级别,血缘,Datahub,数据,该列
From: https://www.cnblogs.com/tree1123/p/16853269.html

相关文章

  • SQLFlow:在线解析SQL血缘关系(SQL Data Lineage)
    此软件应该是收费的,可以免费试用30天SQLFlow:在线解析SQL血缘关系(SQLDataLineage)血缘关系分析工具SQLFLOW--实践指南......
  • echart 血缘图 引用
    lettableId=1;constdata=[[{tableId:2,tableName:'我是祖先表AAAAAAAAAA',},{tableId:3,......
  • Visual Studio Code v0.9.1 发布
    微软的跨平台编辑器VisualStudioCodev0.9.1已经发布,官方博客上发布文章VisualStudioCode–OctoberUpdate(0.9.1):​​http://blogs.msdn.com/b/vscode/archive/20......
  • spline-spark-agent收集Iceberg(Spark程序)血缘
    一、背景使用Spark操作Iceberg(HiveCataLog的方式),使用Spline-Agent收集Spark作业的血缘。二、编译1、下载源码包:https://github.com/AbsaOSS/spline-spark-agent.git......
  • EasyCV DataHub 提供多领域视觉数据集下载,助力模型生产
    作者:伝迹谦言夕陌临在在人工智能广泛应用的今天,深度学习技术已经在各行各业起到了重要的作用。在计算机视觉领域,深度学习技术在大多数场景已经替代了传统视觉方法。如果......
  • 考研记录Week20【10.3~10.9】
    一、本周总结:使用时间:【后期专业课和数学都要多花时间了!!!】总计44h9min,高数11h23min,英语10h31min,操作系统6h53min,政治10h31min,数据结构与算法30min.完成任务:英语:1.2020~202......
  • 10.9 闲话 —— 对一篇文章的一些看法
    昨晚写了一堆话,想了想还是删掉了。今天得知《实事求是,面向未来》的作者是一位高二同学,并且他自己也没有带智能手机,那这篇文章的目的也就很明显了。不得不说,作者本人似乎......
  • 10.9
    T1小朋友的数字题面分析动态规划求最长子段和,容易想到对于每一个数\(i\),最大子段不是\(i-1\)(之前的子段),就是以\(i\)为终点的一段前缀差,题面分数的解释很日龙......
  • 【2022.10.9】drf(7)
    今日内容1.权限类使用2.频率类使用3.认证源码分析4.权限源码分析5.简单读写频率类源码6.鸭子类型1权限类使用#认证:校验用户是否登录,登录认证#用户登录了,某个......
  • 10.9 pluglnlib 插件库 nodelet
    10.2动态参数参数服务器的数据被修改时,如果节点不重新访问,那么就不能获取修改后的数据,例如在乌龟背景色修改的案例中,先启动乌龟显示节点,然后再修改参数服务器中关于背景......