首页 > 其他分享 >hadoop-zookeeper框架

hadoop-zookeeper框架

时间:2022-09-24 01:22:40浏览次数:50  
标签:2nn 框架 zookeeper hadoop namenode 机制 数据 leader

zookeeper

协调机制

选举leader 多个flower
客户端 服务器

特点

半数以上
数据一致性
在有限时间范围内,执行顺序同步于发送顺序
文件结构类unix 树状每一个结点既是文件夹也可以是值。记为znode

本质上zookeeper 是文件系统+通知机制

启动zookeeper集群过程

选举策略
在没有历史数据的情况下
leader标准看 myid即为server.id

在有数据的条件下,
leader要给拥有最新数据的server 参考czxid

znode参数说明:{czxid version time num}
任务:搭建zookeeper集群 启动失败的坑 配置文件中写出服务器名单。不同启动顺序 含有历史数据 下的 leader选择 通过增/删/改/查/ zookeeper通知机制

写数据流程

前提:有leader
时机:半数以上通过票数

监听机制

同步 数据传输可靠
异步 回调函数(定义时机,执行时机)

HDFS-HA


[========]

nn和2nn无法实现数据高度的一致性。主要原因是nn和2nn协作数据同步有间隔。
组织结构:???namenode 3
qjm+namenode 代替2nn?作用
``

标签:2nn,框架,zookeeper,hadoop,namenode,机制,数据,leader
From: https://www.cnblogs.com/xinyuan1413/p/16724808.html

相关文章

  • 【Django-rest-framework框架】第01回 drf入门规范
    目录1.前后端开发模式1.1前后端混合开发1.2前后端分离1.3流程图1.4前端的后台管理模板2.API接口2.1本质2.2四大特点2.3模拟3.接口测试工具postman4.RESTfulAPI......
  • Springboot的前端(html)使用bootstrap框架 入门
    准备动作进入官网下载压缩包https://getbootstrap.com/docs/5.2/getting-started/download/解压,然后把文件放在这个目录:\src\main\resources\static结构如下:......
  • zookeeper简单入门
    zookeeper官网地址:https://zookeeper.apache.org/doc/r3.8.0/zookeeperStarted.html中文地址:https://zookeeper.net.cn/index.html介绍核心概念zookeeper是一个分......
  • Spring MVC框架:第十三章:类型转换
    SpringMVC将“把请求参数注入到POJO对象”这个操作称为“数据绑定”。数据类型的转换和格式化就发生在数据绑定的过程中。类型转换和格式化是密不可分的两个过程,很多带格......
  • sanic框架了解
    最近在工作中需要用到sanic框架Sanic是什么?话不多说先给一个官方的解释SanicisaPython3.6+webserverandwebframeworkthat’swrittentogofast.Itallows......
  • hadoop集群搭建
    1.先建立一台虚拟机,分配内存2G,硬盘20G,网络为nat 模式,设置一个静态的ip 地址: 例如设定3台机器的ip 为192.168.63.167(master)  192.16863.168(slave1) 192.168.6......
  • spring常用框架
    https://spring.io/projectshttps://spring.io/projects/spring-cloudhttps://blog.csdn.net/MemoryTa/article/details/121481401 一、5个常用的spring框架1.spring......
  • beego 框架初学
    Beego案例-新闻发布系统1.注册后台代码和昨天案例代码一致。,所以这里面只写一个注册的业务流程图。**业务流程图**2.登陆业务流程图登陆和注册业务和我们昨天登......
  • 05. 《大数据架构师5期》—企业级Hadoop源码二次开发(5)_ev
      双缓冲方案  写入本地是第一个实现,写入远程jounalnode是第二个实现   ......
  • 分布式实时计算框架原理及实践案例 pdf
    高清扫描版下载链接:https://pan.baidu.com/s/1B9GDre_XZYMncW9WYhPqlg点击这里获取提取码 ......