首页 > 其他分享 >ambari-hadoop集群中timeline和ams-hbase几种服务之间的调用关系

ambari-hadoop集群中timeline和ams-hbase几种服务之间的调用关系

时间:2023-08-20 22:36:23浏览次数:33  
标签:ambari timeline hadoop server 集群 ams hbase

最近经常碰到ambari集群timeline server和ams-hbase 服务的一些问题,梳理了下这些服务之间的调用关系,留作笔记方便后续查阅

1. 目前笔者用到的hadoop组件版本如下

2. 调用关系如下图

3. 关于timeline server

有两个版本 v1.5和v2.0

3.1 目前v1.5为过渡期版本,但是也是生产中应用用的最多的组件,web端口8188

一般由tez任务app master中的ATSV15HistoryLoggingService 插件将counters推送到timeline server ,resourcemanager 也有实现一个TimelineClientImpl接口定时读写timelineserver 服务,没有细看应该是同步container任务的一些状态信息,目前timelinee server v1.5的数据存储在本地的leveldb上和 timeline server是同一个进程

3.2 v2.0是后续待完善的reader版本,目前集群应用还未大范围使用,web端口17010,17030

一般在resourcemanager 启动的时候自动加载 ats-hbase配置文件,并以任务的形式分别启动
ats-hmaster 和ats-regionserver 两个container,ats-hbase 的数据存储在hdfs 上 /atsv2/ 目录下

4. 关于ams-hbase,web端口61310,61330

hadoop集群所有组件服务中默认都有实现一个HadoopTimelineMetricsSink类,根据配置文件hadoop-metrics2.properties 指定的采集频率将采集到的服务指标定时推送到ambari-metrics-collector 应用,该应用负责将指标数据写入到ams-hbase,用户可以在grafana服务上查询到hadoop集群上组件的运行情况
目前ams-hbase 服务是单进程,融合了zookeeper,hmaster,regionserver,指标数据存储在本地,相对比较重。

标签:ambari,timeline,hadoop,server,集群,ams,hbase
From: https://www.cnblogs.com/tommyjiang/p/17644713.html

相关文章

  • Hadoop学习笔记、知识点搭建速过、包含Hadoop集群搭建、HDFS、IDE操作hadoop,DFSShell
    大数据概述......
  • 基于JAVA+hadoop网络云盘上传下载系统-计算机毕业设计源码+LW文档
    摘 要随着信息技术的发展,管理系统越来越成熟,各种企事业单位使用各种类型的管理系统来提高工作效率,从而降低手工劳动的弊端。网络云盘能够为广大用户提供安全、免费、方便的存储空间,还能实现资源的共享,但是网络云盘还是存在不足,如何为用户提供更简单明了、便于操作的云盘空间就......
  • Hadoop3.3.0--Linux编译安装
    Hadoop3.3.0--Linux编译安装本实验内容教程来源于“黑马程序员”如有侵权请联系作者删除基础环境:Centos7.7编译环境软件安装目录mkdir-p/export/server一、Hadoop编译安装(选做)可以直接使用课程提供已经编译好的安装包。安装编译相关的依赖yuminstallgccgcc-c+......
  • 初识Hadoop
    Hadoop生态系统 资源调试系统YARNHDFS写入数据流程图 HDFS原理漫画    结语学习没有捷径,一步一个脚印! ......
  • hadoop 问题集
    1.Hadoop"Cannotcreatedirectory.Namenodeisinsafemode."解决方案hadoopdfsadmin-safemodeleave 2.本地eclipse连接外网Hadoop通过查询发现,外网中的hadoop如果想要被外网访问,需要在hdfs-site.xml中添加<property>  <name>dfs.namenode.rpc-bind-host</na......
  • hadoop 简介
    目录hadoop的三大组件和关系1.HDFS:分布式文件系统hdfs的特点和不适用使用场景2.MapReduce:计算模型(分布式并行计算框架)2.1概念浅析2.2模型原理2.3MadReduce的特点3.Yarn:hadoop的三大组件和关系1.HDFS:分布式文件系统hdfs的特点和不适用使用场景1.1HDFS文件系统......
  • Hadoop初体验
    1、HDFS初体验既能够通过后台的终端命令进行文件的管理,也可以通过WebUI界面进行相关的操作;可以知道的是,WebUI界面模仿的是Linux系统的文件格式;2、示例说明可以使用hadoop文件夹里面自带的例子进行相关的测试......
  • Hadoop集群启停命令以及Web UI界面的相关介绍
    1、Hadoop集群的启停命令(我是将文件都配置好了,直接使用最方便的启停命令就能进行使用)start-all.shstop-all.sh2、HDFS集群的WebUI界面主要是通过命令行:ifconfig获取到本虚拟机的ip地址,然后输入:ip:9870进行访问即可3、YARN集群的WebUI界面可以使用以下命令访问:ht......
  • VMware搭建Hadoop集群 for Windows(完整详细,实测可用)
    目录一、VMware虚拟机安装(1)虚拟机创建及配置 (2)创建工作文件夹二、克隆虚拟机三、配置虚拟机的网络(1)虚拟网络配置(2)配置虚拟机主机名(3)配置虚拟机hosts(4)配置DNS、网关等(5)reboot重启虚拟机四、配置SSH服务(1)确认ssh进程 (2)生成秘钥(3)秘钥拷贝 五、JDK安装(1)把JDK安装包传输到虚拟机(2)......
  • hadoop的相关启动
    1、先退回到hadoop主路径(也就是我上一篇中的hadoop-3.0.0)cd../..2、启动服务命令start-all.sh3、输入jps判断是否启动成功启动成功啦!......