首页 > 其他分享 >Atlas初步调研

Atlas初步调研

时间:2024-01-08 13:33:06浏览次数:27  
标签:自定义 验证 数据类型 初步 Atlas 官网 数据 调研

简介

Atlas是Hadoop生态的元数据管理框架,有以下功能特性:

  • 元数据类型:支持多种Hadoop和非Hadoop元数据的预定义类型,提供元数据定义新类型的能力,类型可以具有原始属性、复杂属性、对象引用,可以从其他类型继承。
  • 分类:提供动态创建分类的能力,元数据实体可以与多个分类相关联,具有分类传播的特性。
  • 血缘:提供直观的UI界面,可以通过REST API访问和更新血统。
  • 搜索/发现:支持通过类型、分类、属性值或全文检索进行搜索。
  • 安全与数据屏蔽:与Apache Ranger集成可以实现基于分类的数据访问策略。

架构原理

安装

组件依赖

 

组件 版本
Hadoop 3.1.1
Hive 3.1.0
Zookeeper 3.4.6
Hbase 2.0.2
Kafka 2.0.0
Elasticsearch 5.6.4
Solr 7.5.0
Storm 1.2.0
Sqoop 1.4.6.2.3.99.0-195
falcon 0.8
Atlas 2.1.0

  • 内嵌安装
  • 独立安装

元数据采集

数据源 提供者 备注
数据源 提供者 备注
Hbase 官网 待验证
Hive 官网 已验证,支持元数据全量同步和实时更新,支持血缘关系
Sqoop 官网 待验证,支持导入RDBMS元数据,但是否支持血缘关系,需要验证
Storm 官网 待验证
Kafka 官网 待验证
Falcon 官网 待验证
Spark hortonworks 待验证
自定义元数据类型  

实现自定义数据源需要两部分工作:

  • 自定义元数据类型(Typs System)
  • 通过Rest API 或 自定义Hook插件,将元数据导入到Atlas

Rest API 使用

http://atlas.apache.org/api/v2/index.html

待调查内容

  • 自定义元数据类型、自定义Hook
  • 关系型数据库元数据接入、血缘分析
  • Admin UI 功能详细使用,包括 Search,Classification,Glossary
  • Rest API的使用
  • 业务元数据、技术元数据区分
  • 数据库集群信息或表的统计信息收集,包括表名、所属集群、所属库、表中的记录数、数据占用存储量等。

 

标签:自定义,验证,数据类型,初步,Atlas,官网,数据,调研
From: https://www.cnblogs.com/libin2015/p/17952208

相关文章

  • CTFpwn进阶之路从栈到堆---初步理解
    曾听过某大佬讲,pwn的等级大致分为三种,栈,堆,内核。这篇文章总结了我目前对堆的理解,肯定不够深入,不过我将更注重于偏抽象和本质的东西,希望各位看完能有些不同的收获。堆题小结就我目前的理解来说,堆和栈有个很不同的地方。栈的漏洞经常是可以栈溢出直接改变函数返回地址,通过pop|ret做到......
  • 武汉星起航分享亚马逊跨境卖家差异化选品的市场调研策略
    在亚马逊这个庞大的电商生态系统中,跨境卖家们想要在激烈的竞争中脱颖而出,实现订单的高效转化,关键之一就是做好差异化选品,并在此基础上开展深入的市场调研。本文将揭示一些有效的市场调研秘籍,帮助亚马逊跨境卖家实现更精准的差异化选品,提升订单转化率。首先,卖家应该关注目标市场的热......
  • 武汉星起航:亚马逊跨境卖家差异化选品背后的市场调研工作
    在亚马逊这个庞大的电商舞台上,跨境卖家们都在竭力寻找突破口,实现订单的快速转化。而在激烈的竞争中,差异化选品成为摆脱同质化竞争的关键一环。如何通过有效的市场调研找到独特的产品定位,成为亚马逊跨境卖家们迫切需要解决的难题。首先,要做好市场调研,就必须洞悉市场趋势,捕捉消费热点......
  • 凡是有但是-varchar和nvarchar的初步学习之一
    凡是有但是-varchar和nvarchar的初步学习之一背景高应用开发,在涉及到国内国外的问题时,重要的事情有两个:时区转换,字符集转换.时区转换虽然是很难理清楚,各种规范不统一的事情但是字符集转换更加扯淡.如果是一种数据库,一种字符集可能还好说现在面临的是多种数据库:......
  • 初识C语言1(C语言的部分基础认知)(初识系列主要目的在于在脑海中初步建立对C语言的认知,建
    C语言是一门通用计算机编程语言,广泛应用于底层开发。 简述写C语言代码的过程       C语言规定:main函数是程序的入口,同时main函数有且只有一个。(一个工程之中)......
  • 武汉星起航:亚马逊卖家智慧选品,市场调研成关键一招
    在竞争激烈的亚马逊平台,卖家如何进行选品,并通过市场调研找到商机成为至关重要的问题。以下是武汉星起航总结的一些关键步骤,帮助亚马逊卖家智慧选品并实现成功出海。1.精细市场调研是基础在亚马逊平台,了解目标市场是成功的基础。卖家应该深入研究潜在的用户需求、竞争对手情况,以及......
  • 3_关于c#中类的初步认识
    关于C#中类的认识静态字段static静态字段被类的所有实例共享,所有实例都访问内存同一内存位置,因此,如果该内存位置的值一旦被某个实例改变了,这种改变对所有的实例都可见。我们可以使用static关键字来将字段声明为静态,如:namespaceHello{internalclassProgram{......
  • 关于后期2024年作品的一些调研
        时光荏苒,不知不觉掉坑已经18个春秋了,随说不上数一数二,但也是一心一意。说实话,随着年龄的增长和现实生活的繁琐事情,确实是感觉精力跟不上。曾经有过一段抑郁的时段,在那段时间里也曾想过放弃。    只是还有那么些追随的小伙伴,一直问下个作品啥时候做?或者说微软补......
  • HTML学习第六天:初步探索JavaScript与交互
    在今天的HTML学习中,我初步探索了JavaScript和网页交互的世界。早上,我首先了解了JavaScript的基本概念和语法。JavaScript是一种用于增强网页交互性的脚本语言,它可以直接在浏览器中运行。我学习了如何使用变量、函数和基本的控制结构来编写JavaScript代码。午后,我开始将JavaScript与......
  • 微信小程序自动化测试方案调研和对比
    方案优点缺点​微信开发工具-手动录制简单方便,点击即可回放会因为网络延迟等回放失败,可定制化弱​官网sdk miniprogram-automator配合jest,较为方便,只需写一些js代码需要有js代码功底,以及遇到shodaw-root时定位元素较为困难​官网测试框架 Minium功能全面,......