首页 > 其他分享 >Yarn使用ZK做高可用

Yarn使用ZK做高可用

时间:2022-09-19 20:24:17浏览次数:42  
标签:resourcemanager 可用 08 ZK hadoop yarn Yarn CST rm

1. 目前可用的YARN resourceManager状态存储实现类有如下三个:

org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore # a ZooKeeper based state-store implementation .
org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore # a Hadoop FileSystem based state-store implementation like HDFS and local FS , default . 
org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore # a LevelDB based state-store implementation

 

2.  相关配置(最小配置,相关官网说明地址:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html)

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

 



3. 在zk中存储的信息如下:
get /yarn-leader-election/yarn-rm-cluster/ActiveBreadCrumb

yarn-rm-clusterrm1
cZxid = 0xca0e11dc4
ctime = Thu Sep 08 20:31:40 CST 2022
mZxid = 0xca0e11dc4
mtime = Thu Sep 08 20:31:40 CST 2022
pZxid = 0xca0e11dc4
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 22
numChildren = 0

 

get /yarn-leader-election/yarn-rm-cluster/ActiveStandbyElectorLock

yarn-rm-clusterrm1
cZxid = 0xca0e11dc3
ctime = Thu Sep 08 20:31:40 CST 2022
mZxid = 0xca0e11dc3
mtime = Thu Sep 08 20:31:40 CST 2022
pZxid = 0xca0e11dc3
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x48243f368178603
dataLength = 22
numChildren = 0

 

主备切换参考:

https://www.cnblogs.com/wttttt/p/7652852.html

标签:resourcemanager,可用,08,ZK,hadoop,yarn,Yarn,CST,rm
From: https://www.cnblogs.com/weizaiyan/p/16708928.html

相关文章

  • 第十二章 Redis高可用-哨兵模式(Sentinel)
    一、Sentinel介绍Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实......
  • 【RocketMQ 课程笔记】7.RocketMQ高可用方案
    RocketMQ高可用消息生产消费流程​ Broker即MQ服务器;​ NameServer可理解为注册中心。Broker主挂了的情况Broker主从都挂了的情况Broker双主挂了的情......
  • npm yarn 报错
    目录npmyarn报错yarn:无法加载文件npmyarn报错yarn:无法加载文件win10系统,yarn:无法加载文件C:\Users\丽丽小可爱\AppData\Roaming\npm\yarn.ps1,因为在此系统上......
  • 切换 yarn 源地址
    yarn默认的源是:https://registry.yarnpkg.com。对于国内的程序员来说实在是太慢了,得换淘宝源地址:PSE:\DevProjects\WebProjects\app>yarnconfigsetregistryhttps:......
  • 羊了个羊-无限通关哦(周日亲测可用)
    昨天给大家分享的羊了个羊改代码的方式通关已经不可用了,今天换种方法通关,并且可以无限通关哦~话不多说,赶紧往下看准备工作Windows桌面版微信3.6.0版本抓包工具Fiddler......
  • 第十九章 MHA高可用(二)
    一、回顾1.MHA原理2.MHA安装1.安装依赖2.安装node节点3.安装manager节点4.编写配置文件[root@db03~]#vim/service/mha/app1.cnf[serverdefault]manager_log=......
  • 第十八章 MHA 高可用(一)
    第十八章MHA高可用1.准备三台机器 IP:10.0.0.51主机名:db01内存:2G IP:10.0.0.52主机名:db02内存:2G IP:10.0.0.53主机名:db03内存:2G2.优化一、MHA概述1.简......
  • docker 高可用集群搭建 sentinel
    1首先先准备3份配置文件redis6380.confredis6381.confredis6382.conf修改里面的端口号2分别启动三台redis这里设置redis6380为master因此我们启动第一台re......
  • 22-Nginx高可用(基于Keepalived实现双机主备)
    双机主备HA其实就是高可用,现在部署的其实就是一台Nginx,但凡是单节点,都会存在宕机的可能性,所以我们需要一个备用机,来完成高可用,解决单点故障问题Keepalived......
  • CVTE 2023 校园招聘 内推(后续持续可用)
    【内推方式】内推码为:[email protected] (邮箱就是内推码)1.登陆campus.cvte.com网申2.进入个人中心报名选择“2023秋季校园招聘”3.招聘信息来......