首页 > 其他分享 >HADOOP完全分布式搭建（饭制版）

HADOOP完全分布式搭建（饭制版）

时间：2024-03-13 20:32:58浏览次数：23  
标签：opt 制版 HADOOP etc 点击 master HOME 分布式

HADOOP完全分布式搭建（饭制版）

1.虚拟机安装

安装系统

点击VMware Workstation左上角文件，新建虚拟机

选择自定义，点击下一步

点击下一步

选择稍后安装操作系统（后续我们使用的操作系统为CentOS7）,点击下一步

客户机系统选择Linux,版本选择CentOS 7 64位,点击下一步

自定义安装位置，点击下一步。

处理器配置2核2G

此虚拟机的内存大约分配4个G。

网络模式使用桥接模式（NAT），点击下一步。

默认LSI Logic(推荐)，点击下一步

默认推荐SCSI

创建新虚拟磁盘，点击下一步

创建新虚拟磁盘，点击下一步

指定磁盘大小，点击下一步

指定磁盘文件，点击下一步

点击完成

点击编辑虚拟机配置

点击CD/DVD,使用ISO镜像文件，导入提前准备好的CentOS 7.9

点击确定。

点击网络配置,VMnet8，查看网关。

查看ip地址及默认网关等信息

注意：需要和虚拟机中设置的网络信息保持一致。

开机时，需要等待,一段时间后，系统自动进入安装界面。

操作系统语言我们选择English,点击Done

时区我们选择中国上海,点击Done

接着点击Begin Installation

我们点击ROOT PASSWORD

自己设置好账号和密码

等待系统安装完成,点击Reboot

进入到系统中，打开终端，设置为静态ip，添加ip地址，网关和域名

vi /etc/sysconfig/network-scripts/ifcfg-ens33

注意，一定要在网关下面分配,我分配的网址是192.168.66.102

重启网络服务

systemctl restart network

使用ip addr命令检查是否成功

到此为止，我们的虚拟网络设置完成

2.环境以及免密配置

环境配置

1.修改主机名称为 “master” 与 hosts 文件，方便后续进行集群之间的映射。

hostnamectl set-hostname master

2.更新yum源，安装vim命令包

yum update

yum install -y vim

3.修改host文件，提前添加映射，保存退出。(注意hosts文件的位置)

vim /etc/hosts

4.关闭防火墙

# 临时关闭防火墙
systemctl stop firewalld

# 永久关闭防火墙
systemctl disable firewalld

5.安装相关软件

# 安装下载库
yum install -y epel-release

6.安装最小化安装工具

# net-tool：工具包集合，包含ifconfig等命令
yum install -y net-tools

7.卸载原生JDK，最小化安装的无需操作。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

8.关机，克隆两台虚拟机，作为从机使用。

右击创建好的虚拟机，选择管理——克隆——点击下一页，完整克隆。

克隆完成后，启动两台克隆机器（注意不要同时启动，一台一台启动，不然会造成 IP 冲突，修改完 IP 后再启动其它机器）。打开终端，修改主机名称，设置为静态 ip ，添加 ip 地址、网关和域名，注意与主节点 master 中的 hosts 文件保持一致。设置完成后，重启网络，检查是否设置成功。

免密登录设置

此时，我们需要安装Xshell，Xftp

打开 Xshell 工具，点击左上角文件——新建，在弹出框中设置名称和 ip 地址，然后点击连接，随后输入 root 账号密码完成连接。

三台机子都连接成功之后，开始设置免密登录。我这里给出 master 主节点免密登录其它两台从机的示例，从机免密登录主机就自己再来一次吧。

# 生成公钥与私钥（三次回车）
ssh-keygen

# 向目标主机发送公钥（输入密码）
ssh-copy-id slave1
ssh-copy-id slave2
# 也需要对自己设置免密哦
ssh-copy-id master 

# 免密登录，输入 exit 退出登录
ssh slave1
...

为其它两台从机设置好免密登录。

3.安装HADOOP和JDK1.8

HADOOP:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

1.上传安装包和JDK1.8

我这里的 Hadoop 安装包是 hadoop-3.2.4 版本，根据自身需求来。在主节点 master 中的 /opt 目录下新建两个文件夹 module（存放数据） 和 sofeware （存放安装包）。使用 Xftp 工具将 Hadoop 安装包 和 JDK上传到 sofeware 文件夹下，便于后期管理。

xshell官网:https://www.xshell.com/zh/xshell

xftp官网:https://www.xshell.com/zh/xftp/

JDK1.8:https://repo.huaweicloud.com/java/jdk/8u191-b12/

注意，jdk下载后缀为tar.gz的文件。

2.解压文件

解压文件到 /opt/module 中。

tar -zxvf hadoop-3.2.4.tar.gz -C /opt/module/

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module/

3.配置环境变量

vi /etc/profile

# 在文件末尾添加，将路径更改为你的安装路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin


#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出后执行命令 source /etc/profile ，使用配置的环境变量立即生效。

输入命令 java -version 验证 JDK 是否安装成功：

4.配置HADOOP-env.sh文件

该文件位于 $HADOOP_HOME/etc/hadoop 目录下，是一个配置 Hadoop 环境变量的文件，我们只需要在其中指定 Java 安装目录即可。

export JAVA_HOME=/opt/module/jdk1.8.0_221

5.配置 Hadoop 重要文件

在 Hadoop 中有四个重要的配置文件，位于 $HADOOP_HOME/etc/hadoop 目录下，分别是：

核心配置文件 —— core-site.xml

HDFS 配置文件 —— hdfs-site.xml

YARN 配置文件 —— yarn-site.xml

MapReduce 配置文件 —— mapred-site.xml

根据集群规划，配置文件：

core-site.xml

<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
</property>

<!-- 指定 Hadoop 数据的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置 HDFS 网页登录使用的静态用户为 master -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>master</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!-- nn(NameNode) web 端访问地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>master:9870</value>
</property>

<!-- 2nn(SecondaryNameNode) web 端访问地址-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave2:9868</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定 ResourceManager 的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>slave1</value>
</property>

<!-- 环境变量的继承 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://master:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->ha
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
</configuration>

6.配置 workers/slaves 文件

在 Hadoop 的 2.x 版本中 workers 文件叫 slaves。

该文件位于 $HADOOP_HOME/etc/hadoop 目录下，用于指定集群运行的所有主机。

vi $HADOOP_HOME/etc/hadoop/workers 

# 添加你的主机
master
slave1
slave2

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

7.文件分发

我们上面的操作都只是在主节点 master 中进行，现在我们需要把所有文件分发给从机 slave1 和 slave2。

# 分发环境变量
rsync -r /etc/profile slave1:/etc/profile
rsync -r /etc/profile slave2:/etc/profile

# 分发 JDK 和 Hadoop 
scp -r /opt/module slave1:/opt
scp -r /opt/module slave2:/opt

分发完成后，进入两台从机，刷新分发的环境变量，立即生效。

source /etc/profile

8.启动集群

如果集群是第一次启动，则需要先格式化 NameNode 节点。

hdfs namenode -format

格式化完成后，启动集群：

# 在主节点中运行
start-dfs.sh
# 在 ResourceManager 节点中运行
start-yarn.sh 


# 在主节点中启动历史服务器
mr-jobhistory-daemon.sh start historyserver

请在 /etc/profile 文件末尾添加如下参数

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

添加完成后分发到其它节点，并使其立即生效。

启动完成后，输入 jps 命令检查各节点是否正常：

其他的虚拟机也是一样的命令

在本地浏览器中查看 Hadoop web 界面：192.168.66.102:9870（这里请修改为你的主机IP）

在这里插入图片描述

到此为止，我们的HADOOP就搭建完成了。

标签：opt,制版,HADOOP,etc,点击,master,HOME,分布式
From： https://blog.csdn.net/weixin_61494821/article/details/136684741

相关文章

  • 分布式微服务 - 3.服务网关 - 4.Gateway
    分布式微服务-3.服务网关-4.Gateway项目示例：项目示例-3.服务网关-3.Gateway内容提要：基本使用：配置方式、代码方式内置断言、自定义断言内置局部过滤器、自定义内置和全局过滤器文档：官网官网文档基本使用配置方式引入依赖：使用gateway依赖时，不能同时引入sprin......
  • Hadoop安装：单机布署
    对于Hadoop的布署方式来说，分为单机布署、伪分布署式布署和分布式布署三种方式。其中属单机布署最为简单。大致分为三个步骤：1、下载Hadoop压缩包，并解压；2、修改环境变量；3、测试是否安装成功。下面就这三个步骤进行详细介绍。 步骤详解：0、前置条件，操作系统上已正确安装JAVA，并......
  • C# 创建一个分布式文件存储系统需要怎么设计？？
    创建一个分布式文件存储系统在C#中涉及的技术栈和架构设计相对复杂，主要包括以下几个关键步骤和技术考量：设计阶段系统架构设计：Tracker服务：设计跟踪服务器（TrackerServer），负责管理存储节点（StorageServer）的状态，提供文件存储位置索引服务。存储节点：设计存储节点，用于实际存储文......
  • 分布式系统：进程间通信
    目录进程间通信概述互联网协议API进程间通信的特征套接字UDP数据报通信TCP流通信外部数据表示和编码外部数据表示常用的表示和编码方法远程对象引用组播通信网络虚拟化和覆盖网络参考资料进程间通信概述进程间通信(interprocesscommunication)主要讨论了分布式系统进程之间......
  • 十分钟掌握分布式数据库开发：OpenMLDB 开发者镜像详解
    OpenMLDB是一款国产的、开源的、面向时序数据的分布式内存数据库系统，它专注于高性能、高可靠性和易扩展性，适用于海量时序数据的处理以及在线特征的实时计算。在大数据和机器学习的浪潮中，OpenMLDB以其强大的数据处理能力和高效的机器学习支持，在开源数据库领域崭露头角。OpenMLDB......
  • 开源.NET8.0小项目伪微服务框架（分布式、EFCore、Redis、RabbitMQ、Mysql等）
    1、前言为什么说是伪微服务框架，常见微服务框架可能还包括服务容错、服务间的通信、服务追踪和监控、服务注册和发现等等，而我这里为了在使用中的更简单，将很多东西进行了简化或者省略了。年前到现在在开发一个新的小项目，刚好项目最初的很多功能是比较通用的，所以就想着将这些功能......
  • 分布式与集群--一起学习吧之架构
    分布式和集群都是为了提高系统的性能和可靠性而采用的技术手段。它们在实际应用中各有优势，可以互相结合使用，以实现更好的系统性能和健壮性。一、区别组织结构：分布式：将一个复杂的业务系统拆分成多个子业务系统，每个子业务系统部署在不同的服务器上。这意味着，不同的子业务运行......
  • 分布式之SpringCloud
    一、SpringCloud1、SpringCloud是什么SpringCloud是一系列框架的有序集合，这些框架为我们提供了分布式系统构建工具。2、SpringCloud包含那些项目项目项目名称服务注册于发现AlibabaNacos、NetflixEureka、ApacheZookper分布式配置中心AlibabaNacos、SpringCloudC......
  • 【Spark编程基础】实验二Spark和Hadoop的安装（附源代码）
    文章目录一、实验目的二、实验平台三、实验内容和要求1．HDFS常用操作2、Spark读取文件系统的数据四、实验过程一、实验目的（1）掌握在Linux虚拟机中安装Hadoop和Spark的方法；（2）熟悉HDFS的基本使用方法；（3）掌握使用Spark访问本地文件和HDFS文件的方法。二、......
  • hadoop伪分布式环境搭建
    hadoop伪分布式（1）上传jdk、hadoop、spark安装包（2）解压安装包到指定位置tarzxf安装包.gz-C指定位置（3）重命名mv文件新文件名（4）配置jdk、hadoop、spark环境变量vim/vi/etc/profile（5）加载配置文件source/etc/profile（6）测试java-versionhadoopversions......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99