首页 > 其他分享 >图书《数据资产管理核心技术与应用》分享

图书《数据资产管理核心技术与应用》分享

时间:2024-08-02 14:07:54浏览次数:7  
标签:核心技术 获取数据 任务 数据处理 血缘 分享 数据 图书

《数据资产管理核心技术与应用》是由清华大学出版社出版的一本图书,该图书主要特点如下:

1、依托于大数据技术,独家解密数据血缘的底层技术实现

2、详解数据资产管理的知识体系和核心技术

3、应用元数据管理和数据建模技术,充分发挥出数据资产的更大潜力和价值。

4、全书从元数据、数据血缘、数据质量、数据服务、数据监控、数据建模、数据架构等多个维度来剖析大数据资产管理的核心技术与应用。

5、全书配套了PPT课件以及作者微信答疑服务

核心章节介绍如下:全书依托于大数据技术,独家解密数据血缘的底层技术实现

通常来说,数据血缘的来源可以包括数据源自身、数据处理的任务、数据任务的编排系统等。

  • 数据源自身:比如像Hive,由于其本身就是支持通过HQL做数据处理的,所以其本身就可以通过数据处理的过程来分析从而获取血缘。
  • 数据处理的任务:这点很容易理解,因为不管是实时任务还是离线任务,都会涉及到数据逻辑的处理,从数据任务的底层实现技术上来说,不管是Hadoop的Map-Reduce 任务还是Spark任务还是Flink任务,本质也都是在做数据的转换处理,有数据的转换,就可能会有数据血缘的变化。
  • 数据任务的编排系统:这点也很容易理解,如下图3-1-1所示,在任务编排时,可能会将很多不同的任务节点按照依赖顺序串联起来。前一个任务节点的数据输出会是下一个任务节点的数据输入,所以肯定也会产生数据的转换,就肯定也会存在血缘。

  • 重点介绍了数据血缘的底层技术实现,包括:
  1. 如何从Hive中获取数据血缘
  2. 从Spark 执行计划中获取数据血缘
  3. 从Spark  SQL语句中获取数据血缘
  4. 从Flink中获取数据血缘
  5. 从数据任务的编排系统中获取数

 

 

 

 

 

标签:核心技术,获取数据,任务,数据处理,血缘,分享,数据,图书
From: https://www.cnblogs.com/laoqing/p/18338631

相关文章

  • Java入门、进阶、强化、扩展、知识体系完善等知识点学习、性能优化、源码分析专栏分享
    场景作为一名Java开发者,势必经历过从入门到自学、从基础到进阶、从学习到强化的过程。当经历过几年企业级开发的磨炼,再回头看之前的开发过程、成长阶段发现确实是走了好多的弯路。作为一名终身学习的信奉者,秉承Java体系需持续学习、持续优化的信念。不惜耗费无数个日日夜夜,耗......
  • 分享一个流量主微信小程序
        上图也是成功的开通了小程序流量主哦~可以私信我要源码~大家可以扫码体验一下我个人开发的小程序~......
  • 视频驱动数字人形象,LivePortrait最新模型分享
    LivePortrait是一个由快手可灵团队开发的高级人工智能肖像动画框架,其主要功能是使静态照片中的面部能够模仿动态视频中的表情变化,从而让照片看起来像是活生生的人在做表情。LivePortrait采用了基于隐式关键点的方法,而不是传统的扩散方法,来从单一的源图像生成高质量且生动的视......
  • tg社工库分享
    1.AI社工库(较全,推荐)http://t.me/aishegongkubot?start=AISGK_LLL9U8F42.情报局社工库https://t.me/qingbaojuSGK3_bot?start=NjAyMzQ3NTQxOA==3.黑盒社工库https://t.me/BOXsgkbot?start=1CJG4WT4.智网社工库https://t.me/SGKC_Bot?start=ozhNLaM05.space社工库http......
  • 【原创】java+ssm+mysql图书信息管理系统设计与实现
    个人主页:程序员杨工个人简介:从事软件开发多年,前后端均有涉猎,具有丰富的开发经验博客内容:全栈开发,分享Java、Python、Php、小程序、前后端、数据库经验和实战开发背景:随着数字化和信息化技术的飞速发展,传统的图书馆管理方式已经逐渐不能满足现代社会的需求。数字化技术为......
  • 基于SpringBoot+Vue+uniapp的图书管理系统(源码+lw+部署文档+讲解等)
    文章目录前言详细视频演示具体实现截图技术栈后端框架SpringBoot前端框架Vue持久层框架MyBaitsPlus系统测试系统测试目的系统功能测试系统测试结论为什么选择我代码参考数据库参考源码获取前言......
  • Java基础知识分享(二)相关练习题
    写在前面大家前面的方法和数组学的怎么样了,快来看看这些题你能不能快速地说出答案,数组和方法在Java学习中还是非常重要的,快来检测你的薄弱点在哪,及时查漏补缺!填空题1.数组会在内存中开辟一块连续固定大小的空间,每个空间相当于之前的一个变量,称为数组的元素。数组的长度一经确定......
  • 解决飞书 Linux 在屏幕分享时候的回音问题
    问题在Linux桌面环境中使用飞书时,有一个十分诡异的现象:触发条件:使用飞书会议;自己进行屏幕分享;自己没有mute,即自己没有关闭麦克风。现象:其他人讲话时会听到他自己的回音;我自己听到的声音则是正常的。我的使用环境:飞书版本:7.18.11Debian12+KDE+Wayland+Pi......
  • 软件测试求贤季,最终拿到5个Offer的一些经验分享(附面试题)
    作为一个测试工程师,自动化测试已经是必须要掌握的技能了。学习自动化测试有两个难点,除了其本身拥有一定的技术门槛之外,实战经验才是学习自动化测试的最大难点。部分初中级测试工程师往往在掌握了基本的编程与自动化测试框架API后,会认为自己已经掌握了自动化测试,便开始投入到......
  • 分享一些直播软件的测试点
    归纳了的几个直播软件的测试点,并附上思维导图。UI测试1、UI设计是否符合设计稿2、内容测试输入框说明文字的内容与产品需求一致是否有错别字3、导航测试,不同的连接页面之间导航链接是否有效,是否跳转是否正确4、图形测试自适应界面设计,内容根据窗口大小自适应旋转......