首页 > 其他分享 >HDFS-HA搭建

HDFS-HA搭建

时间:2024-11-04 20:30:28浏览次数:1  
标签:HDFS hdfs hadoop master USER node1 HA 搭建

一、进行准备工作

1、防火墙

service firewalld stop

2、时间同步

yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥 (远程执行命令)

在两个主节点生成密钥文件
ssh-keygen -t rsa
ssh-copy-id ip

master-->master,node1,node2
node1-->master,node1,node2

4、修改hadoop配置文件

core-site.xml
hdfs-site.xml

停止HDFS集群:stop-dfs.sh
同步到其他节点
    cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
	scp ./* node:`pwd`
	scp ./* node1:`pwd`

5、删除hadoop数据存储目录下的文件,每个节点都要删除



6、 启动zookeeper,三台都需要启动



7、启动JN,存储hdfs元数据



8、格式化 在一台NN上执行,这里选择master

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行 这里选择node1

hdfs namenode -bootstrapStandby

10、格式化ZK 在master上面执行

hdfs zkfc -formatZK

11、在hadoop的hadoop-env.sh文件配置HDFS_JOURNALNODE_USER

export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

12、启动hdfs集群

标签:HDFS,hdfs,hadoop,master,USER,node1,HA,搭建
From: https://www.cnblogs.com/ndmtzwdx/p/18526195

相关文章

  • Hadoop高可用搭建
    最终每个节点上的进程ZKNNDNJNZKFCmaster1111node111111node21111、防火墙servicefirewalldstop2、时间同步yuminstallntpntpdate-us2c.time.edu.cn或者date-s201805033、配置免密ssh-keygen-trsassh-copy-idipmaster-->mast......
  • 解决pycharm中安装包之后却用不了的问题
    一起因    这几天,我接触了selenium,然后在pycharm当中下载了selenium,结果可想而知,报错了,然后我在网上查到解决的办法,想着会对大家有帮助,就分享给大家,其他的包也可以这样做二解决办法        首先输入pipshow(你的包名),然后就可以看到location......
  • 搭建AD域
    DC1、DC2搭建AD域DC1、DC2安装域服务(使用命令安装)dcpromo/unattend安装完成,提升为域控制器,DC1先创建chinaskills.com域(DNS是127.0.0.1,即本机地址),DC2再以域控制器的身份加入域(DNS是DC1的地址)。DC1一直默认安装即可。DC2后面差不多的DC1一样。验证Get-ADDomainCon......
  • Hadoop高可用搭建
    搭建前准备(检查是否满足以下条件)1、关防火墙servicefirewalldstop2、时间同步yuminstallntpntpdate-us2c.time.edu.cn或者date-s201805033、免密钥(远程执行命令)在两个主节点生成密钥文件ssh-keygen-trsassh-copy-idipmaster-->master,node1,node2......
  • 【Python期末/课程设计】高校成绩管理系统(PyCharm项目/flask框架/MySQL数据库)
    代写C语言、C++、Java、Python、HTML、JavaScript、vue、MySQL相关编程作业,长期接单,信誉有保证,如有需要请加推广QQ。本文资源:【Python期末/课程设计】高校成绩管理系统(PyCharm项目/flask框架/MySQL数据库)1.题目要求题目描述:无编程软件:2.视频演示【Python期......
  • STM32(hal库)为什么中断服务函数里TIM2_IRQHandler(void)调用 HAL_TIM_IRQHandler(&time
    STM32(hal库)为什么中断服务函数里TIM2_IRQHandler(void)调用HAL_TIM_IRQHandler(&timer_handle);而不是TIM2_IRQHandler(void)里直接写需要的程序呢?而标准库只需要在TIM2_IRQHandle里写中断需要的代码即可?        在STM32HAL库中,中断服务函数(ISR)的设计思路与标准......
  • F. Chat Screenshots
    这里提供一个不用拓扑排序并且容易理解的贪心做法常年没用过拓扑排序的蒟蒻实在是没想到用拓扑排序,其实如果不使用拓扑排序的话,这个题完全可以是绿的思维难度,首先观察样例,发现对于第一个给出的快照,除了作者之外的所有人的顺序就是定了的,也就是需要作者插入一个地方即可,那么我们可......
  • 数据科学进阶:SHAP值与模型解释——从理论到实践
    2024深度学习发论文&模型涨点之——SHAP可解释学习SHAP(SHapleyAdditiveexPlanations)是一种用于解释机器学习模型预测结果的方法,它基于Shapley值理论,通过将预测结果分解为每个特征的影响,为模型提供全局和局部的可解释性。SHAP的核心思想是将特征值的贡献分配到不同的特征中,......
  • 踏上Java之旅:环境搭建指南
    编程爱好者们!今天我要和大家分享一个非常基础但重要的主题——Java环境的搭建。对于初学者而言,正确的环境配置是学习Java的第一步,也是至关重要的一步。接下来,我会手把手教你如何在自己的电脑上配置Java开发环境。第一步:下载并安装JDKJavaDevelopmentKit(JDK)是Java编程语......
  • 一些和ChatGPT的沟通记录总结和乱七八糟——(主要是最近确实思路受限,干脆整理一下以前
    现在是2024年11月4日,14:25,最近思路出现了问题,想的几个idea最终都被自己给否了,然后目前有点没有思路的感觉,所以回顾一下之前和ChatGPT的沟通记录以及之前的思路记录。最近心情和整体状态也静下来了,恭喜我,进入工作状态。1.数据的异质性:从去年就提到过异质性,但是一直没持续的研究......