首页 > 其他分享 >大数据必知必会:Zookeeper(3)集群环境安装

大数据必知必会:Zookeeper(3)集群环境安装

时间:2023-02-07 17:56:44浏览次数:40  
标签:bin 10.0 zookeeper 必知 Zookeeper 必会 服务器 Leader

摘要】 Zookeeper 3.8.0 集群环境安装

安装前准备

集群环境下,至少需要3台服务器。

IP地址主机名称
10.0.0.5 node1
10.0.0.6 node2
10.0.0.7 node3

需要保证每台服务器的配置都一致,以下步骤在3台服务器上都需要做一次。

操作系统准备

本次安装采用的操作系统是Ubuntu 20.04。

更新软件包列表。

sudo apt-get update

安装Java 8+

使用命令安装Java 8。

sudo apt-get install -y openjdk-8-jdk

配置环境变量。

vi .bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

让环境变量生效。

source .bashrc

下载Zookeeper安装包

从Zookeeper官网Apache ZooKeeper下载安装包软件。

image-20230117144145227

或者直接通过命令下载。

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

image-20230119171254429

集群环境安装

解压安装包

在3台服务器上,分别将安装包解压到目标路径。

mkdir -p apps
tar -xzf apache-zookeeper-3.8.0-bin.tar.gz -C apps

image-20230119171424505

修改配置文件

Zookeeper的配置文件保存在$ZOO_HOME/conf/zoo.cfg

在3台服务器上都复制一份配置文件。

cp apps/apache-zookeeper-3.8.0-bin/conf/zoo_sample.cfg apps/apache-zookeeper-3.8.0-bin/conf/zoo.cfg

配置文件说明:

# The number of milliseconds of each tick
# 通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒。
tickTime=2000

# The number of ticks that the initial 
# synchronization phase can take
# LF初始通信时限
# Leader和Follower初始连接时能容忍的最多心跳数,单位次(即tickTime的数量)
initLimit=10

# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
# LF同步通信时限
# Leader和Follower连接之后,通信时能容忍的最多心跳数,单位次
# 时间如果超过syncLimit * tickTime,Leader认为Follwer挂掉,从服务器列表中删除Follwer
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
# Zookeeper数据存放目录
dataDir=/home/hadoop/data/zookeeper

# the port at which the clients will connect
# 客户端连接端口,通常不做修改
clientPort=2181

在集群模式下,还有一个重要的配置项,server.A=B:C:D,其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的IP地址;C 是这个服务器与集群中的 Leader 服务器交换信息的端口;D 是集群中的 Leader 服务器挂了之后重新进行选举新的 Leader时服务器相互通信的端口。由于集群环境的IP地址不同,所以3台服务器的配置文件可以保持完全相同。

在3台服务器上都配置为:

# Zookeeper数据存放目录
dataDir=/home/hadoop/data/zookeeper
# 客户端连接端口
clientPort=2181
# 服务器节点配置
server.1=10.0.0.5:8881:7771
server.2=10.0.0.6:8881:7771
server.3=10.0.0.7:8881:7771

在3台服务器上都创建数据存放目录。

mkdir -p /home/hadoop/data/zookeeper

在 dataDir 指定的目录下创建名为 myid 的文件,文件内容和 zoo.cfgserver.A=B:C:D的 A 一致。

  • node1上执行
echo 1 > /home/hadoop/data/zookeeper/myid

image-20230119172642034

  • node2上执行
echo 2 > /home/hadoop/data/zookeeper/myid

image-20230119172721860

  • node3上执行
echo 3 > /home/hadoop/data/zookeeper/myid

image-20230119172757728

相关命令

如果没配置环境变量,则需要切换到安装目录下执行相关命令,或者指定命令的绝对路径。

cd apps/apache-zookeeper-3.8.0-bin

启动Zookeeper

在集群环境下,需要在每台服务器上都启动Zookeeper。

bin/zkServer.sh start
  • node1

image-20230119173010219

  • node2

image-20230119173105315

  • node3

image-20230119173350726

QuorumPeerMain 就是 Zookeeper 服务端的进程。

查看状态

分别在每台服务器上查看状态。

bin/zkServer.sh status
  • node1

image-20230119173934241

  • node2

image-20230119174022914

  • node3

image-20230119174043822

Mode: leader 表示Leader进程。

Mode: follower 表示Follower进程。

验证Zookeeper

  • 数据操作验证

连接集群,写入数据,查看数据,再切换到其他节点查看数据。

bin/zkCli.sh -server 10.0.0.5:2181
bin/zkCli.sh -server 10.0.0.6:2181
bin/zkCli.sh -server 10.0.0.7:2181

在节点1上写入数据。

image-20230119174241655

在节点2上进行验证。

image-20230119174330192

在节点3上进行验证。

image-20230119174418151

  • Leader重选验证

当前状态下节点2是Leader,停止节点2的进程,查看其他两个节点的状态。

bin/zkServer.sh stop

image-20230119174529440

节点3变为新的Leader。

停止Zookeeper

分别在每台服务器上停止进程。

bin/zkServer.sh stop
【版权声明】本文为华为云社区用户原创内容,转载时必

标签:bin,10.0,zookeeper,必知,Zookeeper,必会,服务器,Leader
From: https://www.cnblogs.com/gaoyanbing/p/17099330.html

相关文章

  • zookeeper examples within kazoo
    zookeeper样例,包含:CRUDretrywatchertransactiondocker部署zookeeperdockerrun-id--namezk-p2181:2181zookeeper:latest样例代码importsysimportlogg......
  • MySql查询性能优化必知必会
    作为一个写业务代码的"JAVACURDBOY",具备写出高效率SQL让应用高性能访问数据库的能力非常重要。获得这个能力的过程我收获了点知识和经验,今天在这里分享出来,希望大家多多......
  • 滴滴前端一面必会vue面试题(附答案)
    实现双向绑定我们还是以Vue为例,先来看看Vue中的双向绑定流程是什么的newVue()首先执行初始化,对data执行响应化处理,这个过程发生Observe中同时对模板执行编译,找到其中......
  • 阿里前端一面必会react面试题总结
    React中怎么检验props?验证props的目的是什么?React为我们提供了PropTypes以供验证使用。当我们向Props传入的数据无效(向Props传入的数据类型和验证的数据类型不符)就会在控......
  • 必知必会的设计原则——开放封闭原则
    概述开放封闭原则是面向对象所有原则的核心。对功能扩展开放,面向修改代码封闭。需求改变时,在小改变软件实体源代码(类、接口、方法等)的前提下通过扩展功能使其满足新的需......
  • <<从Paxos到Zookeeper-分布式一致性原理与实践>>
    <<从Paxos到Zookeeper-分布式一致性原理与实践>>1分布式特点分布性对等性并发性缺乏全局时钟故障总会发生2分布式问题通信异常网络分区三态单体应用中一次......
  • 数据库必知必会:TiDB(1)数据库架构概述
    (数据库必知必会:TiDB(1)数据库架构概述)TiDB体系架构TiDB兼容MySQL5.7协议,支持水平扩容或者缩容的金融级高可用的云原生分布式数据库。TiDB的体系架构为:TiDBServer,接收......
  • 必知必会的设计原则——单一职责原则
    概述单一职责原则是最简单的面向对象设计原则!定义为不要存在多于一个导致类变更的原因。通俗的说,即一个类只负责一项职责。说文字比较干巴巴,我们通过上代码来展示案例;未......
  • 基础Dubbo+基础zookeeper
    服务的提供方1.引入依赖2.改成war项目3.换成dubbo的@service注解4.配置文件 服务的消费者自动注入,换成dubbo的@reference远程调用,其他的一样把提供服务的接口,抽成一......
  • 【转载】 基于Zookeeper的分布式锁与领导选举
    【转载】基于Zookeeper的分布式锁与领导选举原创文章,转载请务必将下面这段话置于文章开头处。本文转发自技术世界,原文链接http://www.jasongj.com/zookeeper/distribu......