首页 > 其他分享 >Hadoop高可用

Hadoop高可用

时间:2024-05-11 10:23:18浏览次数:19  
标签:可用 SNN ANN zookeeper Hadoop ASE ZKFC 节点

Hadoop高可用架构

高可用架构有两个NameNode节点,一个是ActiveNameNode(ANN),一个是StandbyNameNode(SNN),高可用框架中只有一个活跃的NameNode节点,但是备用SNN会持续关注整个集群,并每隔一段时间向JournalNode集群同步日志,SNN也会储存合并日志和镜像并同步一份给ANN,在集群中ANN和SNN都各有一个故障转移控制器,,其中ANN的故障转移控制器中的HealthMonitor会监控ANN的状态,如果出现异常,会将异常通知给ZKFailoverontroller(ZKFC),ZKFC会通知ActiveStandbyElctor(ASE),ASE会通知zookeeper进行选举,zookeeper中有两个节点,一个是临时节点ActiveStandbyElcctorLock(Lock),一个是持久化节点ActiveBreadCrumb(Crumb),当选举认为该节点已经挂了的时候,会将临时节点给删除,同时也会将选举结果返回给ASE,ASE再将选举结果返回给ZKFC,同时,备用的SNN的故障转移控制器也对zookeeper中的临时节点进行监控在,发现zookeeper中的临时节点Lock被删除了,会马上通知ASE,ASE再通知ZKFC,ZKFC将备用的SNN的状态改变,提成活跃的节点,然后会检查zookeeper中的持久化节点是否是自己的,如果不是就进行删除,创建自己的持久化节点Crumb,如果挂掉的NameNode恢复了,会取zookeeper中查看Lock,发现不是自己的,就会变成备用NameNode

hadoop高可用架构

标签:可用,SNN,ANN,zookeeper,Hadoop,ASE,ZKFC,节点
From: https://www.cnblogs.com/peculiar/p/18185895

相关文章

  • Redis高可用架构
    redis架构的演进单机、主从、集群特性/配置Redis主从复制Redis哨兵Redis集群主要目的数据备份与读写分离高可用性和故障自动切换高并发和数据分散处理架构一个主节点和多个从节点监控主从结构并自动切换多个主节点,数据分片数据复制主节点到从节点监控并管......
  • 在 Linux 中将可执行文件设为全局可用
    一、将可执行文件复制到/usr/local/bin/目录:sudocp<binary-name>/usr/local/bin/或生成链接:sudoln-s/absolute/path/to/binary/usr/local/bin/<binary-name>二、echo"exportPATH=/home/wzy/go/bin:$PATH">>~/.profile&&source~/.pr......
  • C:$Mft(NTFS主文件表)C:$LogFile(NTFS卷日志)C:$BitMap(NTFS可用空间映射) C:$Mft$BITMAP C
    C:$Mft(NTFS主文件表)是NTFS文件系统中的一个重要组成部分。它是一个特殊的系统文件,用于记录NTFS分区中所有文件和目录的元数据信息。MFT实际上是MasterFileTable的缩写,意为主文件表。在NTFS文件系统中,每个文件和目录都有一个对应的记录,这些记录存储在MFT中。MFT中的每个记录......
  • 盘点5个C#开发的、可用于个人博客的系统
    今天我们就一起盘点下,最近分享项目5个适合做个人博客的开源项目。一、Blog.Core:前后端分离架构项目简介这是一个基于.Net6.0开发的应用框架,采用前后端分离架构,集成了上百个模块,如:统一支付、公众号管理、数据权限、任务调度、数据库读写分离等等。使用这套框架,可以极大的提升开......
  • Pacemaker 入门之--- 单节点高可用配置和管理
    案例说明:要熟悉您用来创建Pacemaker集群的工具和进程,您可以执行以下流程。这些内容适用于想了解集群软件以及如何管理它,而不需要配置集群的用户。注意这些步骤并不会创建受支持的红帽集群。受支持的红帽集群至少需要两个节点并配置隔离设备。有关红帽对RHEL高可用性集群的......
  • 在Linux中,如何在Linux中配置高可用性(HA)?
    在Linux中配置高可用性(HA)通常涉及设置一个集群环境,使得当主服务节点发生故障时,备用节点能够自动接管服务,从而保证服务的连续性和可靠性。以下是配置高可用性集群的基本步骤,这里以常用的Pacemaker和Corosync组合为例,这是现代LinuxHA解决方案的核心组件:1.环境准备确保网络配置:......
  • 25 Prometheus和alertmanager高可用--Thanos
    一、prometheus高可用第一种方式1.准备3台centos服务器2.设置计算机名3.安装docker和docker-compose安装prometheus#2台安装prometheus服务mkdir/data/cd/data/gitclonehttps://gitee.com/linge365/docker-prometheus.gitcddocker-prometheusroot@os:/d......
  • CentOS7的Hadoop集群配置时间同步
    mastervi/etc/ntp.conf点击查看代码[root@masterhadoop]#vim/etc/ntp.conf...前文省略..#Hostsonlocalnetworkarelessrestricted.restrict192.168.10.0mask255.255.255.0nomodifynotrap#Usepublicserversfromthepool.ntp.orgproject.#Please......
  • 最小化安装 MSVC ( 可用于 graalvm native-image )
    前言自从接触了native-image,就想把所有Java项目全用native-image编译一遍,谁不喜欢exe呢......
  • Redis 高可用之主从架构与哨兵集群
    在redis实例宕机后,通过AOF和RDB可以恢复数据,这是高可用的一部分。但是在宕机期间,如何持续提供服务呢?这是高可用的另一部分。redis的方案是主从库模式,在主库宕机后,由从库提供服务。主从架构遵从单线程处理原则,从库只接受读请求,写请求都在主库执行,主库执行后再同步到从库中去。在......