首页 > 其他分享 >大数据--Hadoop环境部署(4)Hadoop集群部署

大数据--Hadoop环境部署(4)Hadoop集群部署

时间：2022-12-03 22:00:50浏览次数：64  
标签：Node xml 部署 虚拟机 Hadoop hadoop -- site

Hadoop集群的部署方式分为三种，分别是独立模式（Standalone mode）、伪分布式模式（Pseudo-Distributed mode）和完全分布式模式（Cluster mode），独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。
为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务


一.Hadoop高可用集群的规划

1.规划三台虚拟机的Hadoop高可用集群

为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。

虚拟机

主机名

Name

Node

Data

Node

Resource

Manager

Node

Manager

Journal

Node

ZooKeeper

ZKFC

Node_01

node01

1111111

Node_02

node02

1111111

Node_03

node03

1111


2.高可用相关服务介绍

(1)Zookeeper:表示Zookeeper服务。
(2)DataNode:存储真实的数据文件，周期性向NameNode汇报心跳和数据块信息。
(3)NameNode:存储元数据信息以及数据文件与数据块的对应信息。
(4)JournalNode:负责两个NameNode之间通信，JournalNode通常在DataNode节点启动。
(5)ZKFC:ZooKeeper的客户端，用于监视和管理NameNode的状态，运行NameNode的每台机器都需要运行ZKFC。
(6)ResourceManager:负责集群中所有资源的统一管理和分配，接收NodeManager的资源汇报信息，并把这些信息按照一定策略分配给各应用程序。
(7)NodeManager:执行应用程序的容器，监控应用程序资源使用情况并调度器ResourceManager汇报。


二.安装Hadoop

1.下载安装包+上传+解压

官网:https://archive.apache.org/dist/hadoop/common/

我下载的是hadoop-2.7.4.tar.gz(老师要求),同样上传到node01的/export/software/,解压到/export/servers/

tar -zxvf /export/software/hadoop-2.7.4.tar.gz -C /export/servers/


2.配置环境变量

执行“vi /etc/profile”命令编辑系统环境变量文件profile，配置Hadoop环境变量

# Hadoop系统环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“source /etc/profile”命令初始化系统环境变量使配置内容生效。


3.测试

执行“hadoop version”命令查看Hadoop版本

image


三.配置Hadoop高可用集群

Hadoop默认提供了两种配置文件：

（1）只读默认配置文件，包括core-default.xml、hdfs-default.xml、mapred-default.xml和yarn-default.xml，这些文件包含了Hadoop系统各种默认配置参数，位于jar文件中。

（2）自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。

配置文件

功能描述

hadoop-env.sh

配置Hadoop运行所需的环境变量

yarn-env.sh

配置Yarn运行所需的环境变量

core-site.xml

Hadoop核心全局配置文件，可在其他配置文件中引用该文件

hdfs-site.xml

HDFS配置文件，继承core-site.xml配置文件

mapred-site.xml

MapReduce配置文件，继承core-site.xml配置文件

yarn-site.xml

Yarn配置文件，继承core-site.xml配置文件

1.修改hadoop-env.sh文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hadoop-env.sh”命令编辑hadoop-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径

/export/servers/jdk1.8.0_161

cd /export/servers/hadoop-2.7.4/etc/hadoop/

image

2.修改yarn-env.sh文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi yarn-env.sh”命令编辑yarn-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。

image


3.修改core-site.xml文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi core-site.xml”命令编辑Hadoop的核心配置文件core-site.xml。  (填写在<configuration></configuration>之间)

<property>
    <name>fs.defaultFS</name>  #配置命名空间管理服务制定通信地址
    <value>hdfs://master</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>  #存储临时文件的目录
    <value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>  #ZooKeeper集群地址
    <value>node01:2181,node02:2181,node03:2181</value>
</property>

image


4.修改hdfs-site.xml文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hdfs-site.xml”命令编辑HDFS的核心配置文件hdfs-site.xml。

<property>
    <name>dfs.replication</name>  #HDFS副本数
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>  #NameNode 节点数据存放位置
    <value>/export/data/hadoop/namenode</value>
</property>
<property>    
    <name>dfs.datanode.data.dir</name>  #DataNode 节点数据存放位置
    <value>/export/data/hadoop/datanode</value>    
</property>
<property>
    <name>dfs.nameservices</name>  #处理外部访问HDFS的请求
    <value>master</value>
</property>
<property>
    <name>dfs.ha.namenodes.master</name>  #定义NameNode的唯一标识
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.master.nn1</name>  #标识符nn1的RPC服务地址
    <value>node01:9000</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.master.nn2</name>  #标识符nn2的RPC服务地址
    <value>node02:9000</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn1</name>  #标识符nn1的HTTP服务地址
    <value>node01:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.master.nn2</name>  #标识符nn2的HTTP服务地址
    <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>  #NameNode元数据在JournalNode上的共享存储目录
  <value>qjournal://node01:8485;node02:8485;node03:8485/ns1</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>  #JournalNode存放数据地址
    <value>/export/data/hadoop/journaldata</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.ns1</name>  #访问代理类，用于确定当前处于 Active 状态的 NameNode节点
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>  #配置隔离机制，确保集群中只有一个NameNode处于活动状态
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>  #sshfence隔离机制需要配置本机密钥地址
    <value>/root/.ssh/id_rsa</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>  #开启自动故障状态切换
    <value>true</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  #sshfence隔离机制超时时间
    <value>30000</value>
</property>
<property> 
    <name>dfs.webhdfs.enabled</name>  #开启webhdfs服务
    <value>true</value> 
</property>


5.修改mapred-site.xml文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“cp mapred-site.xml.template mapred-site.xml”命令，通过复制模板文件方式创建MapReduce

的核心配置文件mapred-site.xml，执行“vi mapred-site.xml”命令编辑配置文件

mapred-site.xml ，指定MapReduce运行时框架。

<property>
      <name>mapreduce.framework.name</name>  #指定MapReduce 作业运行在 YARN框架之上
      <value>yarn</value>
</property>

image


6.修改yarn-site.xml文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi yarn-site.xml”命令，编辑YARN的核心配置文件yarn-site.xml。

<property>
    <name>yarn.nodemanager.aux-services</name>  #配置NodeManager上运行的附属服务，需要配置为mapreduce_shuffle
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>  #开启ResourceManager的HA机制
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>  #自定义ResourceManager集群的标识符
    <value>yarncluster</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>  #自定义集群中每个ResourceManager节点的唯一标识符
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>  #指定标识符rm1的ResourceManager节点
    <value>node01</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>  #指定标识符rm2的ResourceManager节点
    <value>node02</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>  #ZooKeeper集群地址
    <value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>  #开启自动恢复功能
    <value>true</value>
</property>
<property>
      <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  #开启故障自动转移
      <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.store.class</name>  #ResourceManager存储信息的方式，在HA机制下用ZooKeeper（ZKRMStateStore）作为存储介质
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
</property>
<property>
    <name>yarn.log-aggregation-enable</name>  #开启YARN日志
    <value>true</value>
  </property>


7.修改slaves文件

在虚拟机Node_01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi slaves”命令，编辑记录Hadoop集群所有DataNode节点和NodeManager节点主机名的文件slaves。

node01
node02
node03


8.分发文件

为了便于快速配置Hadoop集群中其他服务器，将虚拟机Node_01中的Hadoop安装目录和系统环境变量文件分发到虚拟机Node_02和Node_03。

#将Hadoop安装目录分发到虚拟机Node_02和Node_03
scp -r /export/servers/hadoop-2.7.4/ root@node02:/export/servers/
scp -r /export/servers/hadoop-2.7.4/ root@node03:/export/servers/
#将系统环境变量文件分发到虚拟机Node_02和Node_03
scp /etc/profile root@node02:/etc/
scp /etc/profile root@node03:/etc/

完成分发操作，分别在虚拟机Node_02和Node_03中执行“source /etc/profile”命令初始化系统环境变量。

9.测试

hadoop version

image


四.启动Hadoop高可用集群

1.启动ZooKeeper

分别在虚拟机Node_01、Node_02和Node_03中执行“zkServer.sh start”命令启动每台虚拟机的ZooKeeper服务。

image

image

image


2.启动JournalNode

分别在虚拟机Node_01、Node_02和Node_03中执行“hadoop-daemon.sh start journalnode”命令启动每台虚拟机的journalnode服务。

image

image

image


3.初始化NameNode（仅初次启动执行）

在Hadoop集群主节点虚拟机Node_01执行“hdfs namenode -format”命令初始化NameNode操作。

image


4.初始化ZooKeeper（仅初次启动执行）

在NameNode主节点虚拟机Node_01，执行“hdfs zkfc -formatZK”命令初始化ZooKeeper 中的 HA 状态。

image


5.NameNode同步（仅初次启动执行）

在虚拟机Node_01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Node_02）上，确保主节点和备用节点的NameNode数据一致，将NameNode主节点元数据目录的内容复制到NameNode备用节点的元数据目录中。

scp -r /export/data/hadoop/namenode/ root@node02:/export/data/hadoop/


6.启动HDFS

在虚拟机Node_01中通过执行一键启动脚本命令“start-dfs.sh”，启动Hadoop集群的HDFS。


7.启动Yarn

在虚拟机Node_01中通过执行一键启动脚本命令“start-yarn.sh”，启动Hadoop集群的Yarn。


8.查看Hadoop集群各节点服务的启动情况

分别在三台虚拟机Node_01、Node_02和Node_03上执行“jps”命令查看Hadoop高可用集群相关进程是否成功启动。(对照表中每个虚拟机的功能)

image

image

image



标签：Node,xml,部署,虚拟机,Hadoop,hadoop,--,site
From： https://www.cnblogs.com/Studywith/p/16948866.html

相关文章

  • 世界杯海信再出圈，三星：“谈不上愉悦”
    作者|曾响铃文| 响铃说本届世界杯作为第一次在北半球冬季举行的世界杯，给全世界球迷带去了一次全新体验。且随着赛程的推进，更多的“惊喜”也一一浮现。其一便是超多的爆......
  • Vulnhub之DC416 Galahad靶机测试过程（部分）
    DC416Galahad识别目标主机IP地址─(kali㉿kali)-[~/Vulnhub/DC416_Galahad]└─$sudonetdiscover-ieth1Currentlyscanning:192.168.63.0/16|ScreenView:......
  • TOMCAT安装和配置
    Tomcat安装和配置过程确认是否安装JDK下载安装TomcatTomcat配置环境变量验证是否配置成功一、确认是否安装JDK​ win+R打开运行，输入cmd回车，在dos窗口中输入java-v......
  • 5.6 函数y=Asin(ωx+φ)的图像和性质
    \({\color{Red}{欢迎到学科网下载资料学习}}\)【基础过关系列】2022-2023学年高一数学上学期同步知识点剖析精品讲义(人教A版2019）\({\color{Red}{跟贵哥学数学，so\qua......
  • rabbitmqctl set_permissions 报错 invalid command
    执行的命令如下：rabbitmqctlset_permissions-pmyvhostuser1'.*''.*''.*'结果报错：Error:invalidcommand'set_permissions.*.*.*'试了这些命令，都是同样的错......
  • pnpm配置
    之前通过nvm来管理了nodejs版本，结果安装pnpm之后，安装全局依赖报错，如下：PSC:\Users\Administrator>pnpmi-gcommitizen ERROR Unabletofindtheglobalb......
  • arco design vue 表单自定义验证
    不知道为啥,官方文档里竟然没写...直接上代码template里<a-form-itemfield="repeatPassword":rules="[{validator:validateRepeatPassword,trigger:'change'}]"......
  • 安装Docker
    Docker分为CE和EE两大版本。CE即社区版（免费，支持周期7个月），EE即企业版，强调安全，付费使用，支持周期24个月。DockerCE分为stabletest和nightly三个更新频道。......
  • c# 抽象类+特性 验证QQ,Mobile,Name的通用写法
     1.调用boolbResult=ValidateAttributeExtension.Validate<StudentVip>(vip); 2.特性的额外方法：验证功能：publicclassValidateAttributeExtension{......
  • mermaid
    mermaid允许您使用文本和代码创建图表和可视化。它是一种基于JavaScript的绘图和图表工具，可呈现受Markdown启发的文本定义以动态创建和修改图表。Mermaid的主要目的......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99