首页 > 其他分享 >Hadoop生态元数据管理平台——Atlas2.3.0发布!

Hadoop生态元数据管理平台——Atlas2.3.0发布!

时间:2023-01-10 21:24:49浏览次数:48  
标签:Hadoop Atlas 改进 数据管理 UI Atlas2.3 Docker

大家好,我是独孤风。
今天我们来聊一下另一个元数据管理平台Apache Atlas。Atlas其实有一些年头了,是在2015年的时候就开源。

相对于Datahub来说,Atlas显得有一些“老”了,社区也远没有以前活跃。

2

但是,从稳定性和与Hadoop生态的融合度的角度来说,Atlas目前还是无可替代的,现在很多企业生产环境也都是用的Atlas。

特别Atlas对Hive的原生支持,以及数据血缘的展示,非常的友好。!

本次Atlas发布了2.3.0版本,也进行了很多更新,比如发布了Python客户端,
对ES、Kafka等依赖进行了升级,对Docker支持进行了改进,
同时优化了多个页面,并且修复了大量的BUG。
所以,目前来看,对于基于Java技术栈开发,
并且使用Hadoop生态的企业,Atlas依然是元数据管理的最好选择。

Atlas 2.3.0更新日志

新增功能:

用于根据类型和属性搜索关系的 API 和 UI

改进方面:

术语表的处理性能大幅度改进 UI

改进以查看指标和统计数据,指标进行持久性存储

数据血缘 API 和 UI 的性能改进

Hive Hook和 import-hive 实用程序的多项修复和改进 支持启用身份验证的 Cassandra 作为审计存储 发布 Apache Atlas Python 客户端 0.0.12

依赖升级:JanusGraph、Elasticsearch、Kafka、Storm、TinkerPop、Gson、Spring Framework、Log4j

UI:修复和改进多个页面,如搜索、血缘、业务元数据 Docker 镜像:对 Docker 支持的改进

标签:Hadoop,Atlas,改进,数据管理,UI,Atlas2.3,Docker
From: https://www.cnblogs.com/tree1123/p/17041400.html

相关文章

  • 火山引擎 DataLeap 通过中国信通院测评,数据管理能力获官方认可!
     近日,火山引擎大数据研发治理套件DataLeap通过中国信通院第十五批“可信大数据”测评,在数据管理平台基础能力上获得认证。 “可信大数据”产品能力评测体系由中国......
  • Hadoop单击模式运行wordcount例子
    1、进入Hadoop安装目录cd/zwy/soft/hadoop-2.7.12、创建文件夹inputmkdirinput3、写一段文字到文件file.txtecho"helloworldhellohadoop">file.txt4、移动文件file.tx......
  • Hadoop核心概念
    大数据开发总体架构:Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群,将海量数据分布式的存储在集群中,并使用分布式并行程序来处理这些数据。Ha......
  • hadoop 2.4.1单机安装教程 99.9%成功率
    1.先自己安装centos7.X 64位2.自己想办法安装JDK1.7,记住不要opensdk的3.准备好hadoop-2.4.1 64位,官网下载默认是32位的,所以上淘宝买CSDN下载4.修改系统配置vim/etc/s......
  • 你有想过,如何用Hadoop实现【倒排索引】?
    写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,​​写博客一方面是为了记录自己的学习历程,一方面是希望能够......
  • Hadoop的溢写
    问题:1,一台服务器上,同时运行4个MapTask任务,即当前服务器会有4个溢写缓冲区,即一个MapTask会开启一个溢写缓冲区2,Spill过程不一定会发生,当此MapTask输出的数量很小时,小于(默认10......
  • Docker的数据管理
    一、管理docker容器中数据管理Docker容器中数据主要有两种方式:数据卷(DataVolumes)和数据卷容器(DataVolumesContainers)。1、数据卷数据卷是一个供容......
  • Ubutnu 20.04 安装和使用单机版hadoop 3.2 [转载]
    按照此文档操作,可以一次部署成功:Ubutnu20.04安装和使用单机版hadoop3.2部署之后,提交测试任务报资源问题。原因是yarn还需要配置,如下:$catyarn-site.xml<?xml......
  • 描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系
    作者:小怪兽链接:https://www.zhihu.com/question/27974418/answer/1862026844来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1Hadoop只是......
  • Hadoop中的MapReduce框架
    一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式去处理它们。          框架会对Map的输出......