首页 > 其他分享 >hadoop -day4 安装zookeeper和HA高可用

hadoop -day4 安装zookeeper和HA高可用

时间:2022-08-23 20:56:54浏览次数:56  
标签:soft day4 zookeeper hadoop usr node1 local

安装zookeeper

1、上传安装包到master并解压(在/usr/local/soft/目录下)
tar -zxvf zookeeper-3.4.6.tar.gz

2、配置环境变量
vim /etc/profile

ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile


3、修改配置文件
cd conf
cp zoo_sample.cfg zoo.cfg(把zoo_sample.cfg变成zoo.cfg文件)

修改
dataDir=/usr/local/soft/zookeeper-3.4.6/data

增加
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888

4、新建data目录
cd /usr/local/soft/zookeeper-3.4.6
mkdir data
cd data
touch myid

5、同步到其它节点
scp -r zookeeper-3.4.6 node1:`pwd`
scp -r zookeeper-3.4.6 node2:`pwd`

配置node1和node2的环境变量

在所有节点执行
source /etc/profile


6、编辑/usr/local/soft/zookeeper-3.4.6/data/myid
master,node1,node2分别加上0,1,2

 

7、启动zk,(都在soft目录下)
zkServer.sh start 三台都需要执行

zkServer.sh status 查看状态

通过jps可以查看zk的进程:QuorumPeerMain

当有一个leader的时候启动成功

## 停止zk
zkServer.sh stop 三台都需要执行

 

8、连接zk
zkCli.sh

zk 是一个目录结构 ,每个节点可以存数据,同时可以有子节点

zk shell

创建目录
create /test testData
create /test/a aData


获取数据
get /test

ls /test

delete 只能删除没有子节点的节点
rmr /test 删除节点


重置zk
1、杀掉所有zk进程
kiil -9 pid

2、删除data目录下的version文件, 所有节点都要删除
rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2

2、启动zk
zkServer.sh start

 

搭建Hadoop-HA(搭建之前拍快照)

                  ZK NN DN RM NM JN ZKFC
master  1    1           1          1    1     1
node1   1    1    1     1    1    1    1     1
node2   1          1           1    1    1

 


1、防火墙
service firewalld stop

或者 systemctl status firewalld.service
2、时间同步
如果时间不差很多就不需要下面两行的操作,
yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥 (远程执行命令)
在两个主节点生成密钥文件
ssh-keygen -t rsa
ssh-copy-id ip

master-->master,node1,node2
node1-->master,node1,node2

 

4、修改hadoop配置文件
core-site.xml
hdfs-site.xml

停止HDFS集群:stop-dfs.sh


同步到其它节点
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
scp ./* node1:`pwd`
scp ./* node2:`pwd`

 

5、删除hadoop数据存储目录下的文件 每个节点都需要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp

 

在/usr/local/soft/hadoop-2.7.6/etc/hadoop目录下上传配置文件(core-site.xml和hdfs-site.sml),每一个节点都需要。

去node1和node2配置环境变量(添加hadoop的环境变量)

 

6、启动zookeeper 三台都需要启动
zkServer.sh start
zkServer.sh status

7、启动JN 存储hdfs元数据
三台JN上执行 启动命令:
/usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode(已经配置了环境变量,所以不需要写前面)

8、格式化 在一台NN上执行,这里选择master
hdfs namenode -format
启动当前的NN
hadoop-daemon.sh start namenode


9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行 这里选择node1
/usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby


10、格式化ZK 在master上面执行
!!一定要先 把zk集群正常 启动起来
/usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK

11、启动hdfs集群,在master上执行
start-dfs.sh

 

标签:soft,day4,zookeeper,hadoop,usr,node1,local
From: https://www.cnblogs.com/wqy1027/p/16617745.html

相关文章

  • 迁移 Nacos 和 ZooKeeper,有了新工具
    作者:子葵背景注册中心迁移在行业中主要有两个方案,一个是双注册双订阅模式(类似数据库双写),一个是Sync模式(类似于数据库DTS);MSE同时支持了两种模式,对于开通MSE服务治理......
  • hadoop集群搭建之测试集群,配置历史服务器,日志聚集,时间同步
    hadoop集群搭建之测试集群,配置历史服务器,日志聚集,时间同步前期概要:我们完全分布式集群已经搭建完毕,并且还写了群启/群关的脚本,接下来有必要来测试一遍集群,我们可以使用官......
  • 学习python-Day44
    今日学习内容一、前端简介前端与后端前端:用户可以直接操作的界面。后端:用户不能直接操作的内部真正执行核心业务逻辑的代码程序。前端的学习真正的前端工程师......
  • hadoop day3-java实现hdfs
    如何用javaApi的方式来操作hdfs 新建maven项目,然后建立一个子工程在父工程中引入依赖(maven中hadoophdfs,hadoopcommon和hadoopclient) <!--https://mvnrepository......
  • Hadoop的由来、Block切分、进程详解
    Hadoop的由来、Block切分、进程详解一、hadoop的由来Google发布了三篇论文:GFS(GoogleFileSystem)MapReduce(数据计算方法)BigTable:HbaseDougcutting花费了两......
  • hadoop简介
    一句话简述:Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop的由来Google爬取全球的网站,然后计算页面的PageRank要解决网站的问题:a:这些网站怎么存......
  • zookeeper总结
    zk是分布式协调服务。架构角色,分为leaderfollowerobserver。follower参与选举。observer提供读操作。特点:1、高可用,主从架构,官方测试主节点挂了,200ms完成恢复,也就是主......
  • Hadoop 二十三
    文件的更名和移动:    获取文件详细信息       遇到的问题:不能直接在web上上传文件。   权限问题:修改后即可正常创建  参考:https:/......
  • Hadoop 二十二
    参数优先级: 拿副本数举例子,优先级:hdfs-default.xml=>hadfs.xml=>在项目资源目录下的优先级高=>代码里的配置优先级高文件下载: ......
  • Hadoop集群搭建
    Hadoop集群搭建(完全分布式版本)一、准备工作三台虚拟机:master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai......