首页 > 其他分享 >基于zookeeper安装部署下,配置 HDFS-HA 集群

基于zookeeper安装部署下,配置 HDFS-HA 集群

时间:2024-09-30 20:21:35浏览次数:9  
标签:xml HDFS HA erport zookeeper hadoop site cp ha

一、目录准备:

1.在 erport 目录下创建一个 ha 文件夹

cd /erport
mkdir ha

将/erport/servers/下的 hadoop 拷贝到/erport/ha 目录下:

直接移动(本教程所采用):

mv /erport/servers/hadoop /erport/ha
cd /erport/ha
ls
cd /erport/ha/hadoop/etc/hadoop
cp hadoop-env.sh hadoop-env副本.sh
cp core-site.xml core-site副本.xml
cp hdfs-site.xml hdfs-site副本.xml
cp yarn-site.xml yarn-site.xml副本.xml

或者:

cp -r /erport/servers/hadoop /erport/ha
cd /erport/ha

二、配置 hadoop-env.sh(之前有的话,可以忽略)

vi /erport/ha/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/erport/servers/jdk

三、配置 core-site.xml

vi /erport/ha/hadoop/etc/hadoop/core-site.xml

<configuration> 
  <!-- Hadoop工作目录,用于存放Hadoop运行时NameNode、DataNode产生的数据 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/erport/ha/hadoop/data/tmp</value> 
  </property>  
  <!-- 默认NameNode,使用NameService的名称 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://mycluster&

标签:xml,HDFS,HA,erport,zookeeper,hadoop,site,cp,ha
From: https://blog.csdn.net/m0_61475271/article/details/142661885

相关文章

  • 基于zookeeper安装部署下,配置 HDFS-HA 自动故障转移
    (1)访问 hdfs-site.xml:vi/erport/ha/hadoop/etc/hadoop/hdfs-site.xml在hdfs-site.xml中增加:<!--开启失败故障自动转移--><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></propert......
  • Hard Process
    HardProcess(题面)大意:给定一个长度为\(n(0<=n<=10^5)\)的序列,序列中只包含0或1,现有k次机会可以将0改为1,问,k次机会前最长连续1序列的长度并且输出这个序列(只需一个)。解法:二分答案+前缀和证二分答案的单调性:先解释check函数:现有一个需要查询的长度len,从1开始直到n,遍历每一个长......
  • PICO 2 RP2350使用官方推荐RISC-V编译器在O3优化下的coremark跑分,与Hazard3库宣传跑分
    编译环境:WSLUbuntu22.04GCC13.2.0 Hazard3存储库https://github.com/Wren6991/Hazard3/RP2350默认频率150MHz,编译内核为其RISC-V架构内核,在此频率下实测O3等级跑分453左右,O2等级跑分429左右。在测试时,当我打开第二个核心后,并且第二个核心只用来控制led灯,此时coremark跑......
  • 使用Yasboot安装YashanDB的疑惑和建议
    本文作者:YashanDB高级服务工程师卢智凌从去年开始,⼀直在学习国产数据库YashanDB,对YashanDB的总体感觉还是⾮常不错的。作为对学习成果的考察,去年通过了YashanDB官⽅组织的YCA认证,4月底⼜参加了YCP认证,YCP认证包括笔试部分和实操部分。在准备实操部分的练习时,使⽤Yasboot安装Yasha......
  • Google-Hacker-搜索引擎使用技巧
    搜索引擎使用技巧1.谷歌关键字汇总12.Googlehacker汇总网站3.bing搜索引擎示例4.google关键字最新5.bing高级搜索关键字6.谷歌语法生成网站1.Google常用语法1.1常用关键字说明site指定域名site:*.edu.cn限定域名后缀为edu.cn的网站inurlURL中存在的关键字inurl:......
  • 【Echarts地图开发全流程加全套代码】
    前言本篇分享近期做的项目echarts相关地图开发的相关细节和避坑细节!!一、地图Json文件echarts地图采用官网的type类型map进行配置开发ApacheEChartsApacheECharts,一款基于JavaScript的数据可视化图表库,提供直观,生动,可交互,可个性化定制的数据可视化图表。https://echarts.a......
  • django基于ECharts的毕业生招聘信息可视化分析系统(源码+vue+可视化大屏展示+爬虫分析
    收藏关注不迷路!!......
  • opencascade TopoDS_AlertWithShape源码学习
    opencascadeTopoDS_AlertWithShape前言一种特定的对象(我们称之为Alert对象),该对象在其内部字段中存储了一个TopoDS形状方法1带有形状参数的构造函数TopoDS_AlertWithShape(constTopoDS_Shape&theShape);2返回包含的形状TopoDS_Shape&GetShape();3设置形状voidSe......
  • 代码随想录算法训练营第六天|理解hash表
    WhatisHashTable?引用自文章链接:https://programmercarl.com/哈希表理论基础.html#哈希表哈希表是根据关键码的值而直接进行访问的数据结构。直白来讲其实数组就是一张哈希表,哈希表中关键码就是数组的索引下标,然后通过下标直接访问数组中的元素。哈希函数通过hashCode把......
  • Hadoop集群的高可用(HA):NameNode和resourcemanager高可用的搭建
    文章目录一、NameNode高可用的搭建1、免密配置2、三个节点都需要安装psmisc3、检查三个节点是否都安装jdk以及zk4、检查是否安装了hadoop集群5、修改hadoop-env.sh6、修改core-site.xml7、修改hdfs-site.xml8、检查workers文件是否为三台服务9、分发给其他两个节点10、......