搭建hadoop高可用集群

一、搭建高可用集群

1.1 zookeeper搭建

1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz

2、配置环境变量 vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
​
source /etc/profile

3、修改配置文件 cd conf cp zoo_sample.cfg zoo.cfg

修改
dataDir=/usr/local/soft/zookeeper-3.4.6/data
​
增加
server.0=master01:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888

4、同步到其它节点 scp -r zookeeper-3.4.6 node1:pwd scp -r zookeeper-3.4.6 node2:pwd

配置node1和node2的环境变量
scp /etc/profile node1:/etc/
scp /etc/profile node2:/etc/
​
在所有节点执行
source /etc/profile

4、创建/usr/local/soft/zookeeper-3.4.6/data目录,所有节点都要创建

mkdir /usr/local/soft/zookeeper-3.4.6/data
​
在data目录下创建myid文件
vim myid 
master,node1,node2分别加上0，1，2

5、启动zk， zkServer.sh start 三台都需要执行

zkServer.sh status 查看状态
​
当有一个leader的时候启动成功

连接zk zkCli.sh

zk  是一个目录结构 ，每个节点可以存数据，同时可以有子节点

zk shell

创建目录
create /test test
create /test/a 1

获取数据
get /test
 
ls /test
​
delete 只能删除没有子节点的节点
rmr /test  删除节点

关闭命令

zkServer.sh stop

拍摄快照

重置zk

　　1、杀掉所有zk进程 kiil -9 pid

　　2、删除data目录下的version文件, 所有节点都要删除 rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2

　　3、启动zk zkServer.sh start