首页 > 其他分享 >Hadoop伪分布式搭建教程

Hadoop伪分布式搭建教程

时间：2024-11-17 17:45:58浏览次数：3  
标签：xml 教程 app hadoop yarn Hadoop sh 分布式

Hadoop伪分布式在Linux上的搭建教程

目录

前言

 前期工具准备

一、JDK、Hadoop的安装

二、JDK配置

2.1配置环境变量

2.2.使配置文件生效

2.3查看Java版本

 三、Hadoop配置文件

3.1编辑hadoop-env.sh

3.2编辑yarn-env.sh

3.3编辑core-site.xml

3.4编辑hdfs-site.xml

3.5编辑yarn-site.xml

3.6编辑mapred-site.xml

3.7配置环境变量

3.8使文件生效

四、修改hadoop启动、停止文件

五、启动hadoop

5.1hadoop格式化

六、总结

前言

本篇博客主要讲解如何在Linux虚拟机上搭建Hadoop的伪分布式

如果您是Linux小白，请先阅读Hadoop配置教程的前期准备-CSDN博客，如果您有一定Linux基础可以在命令报错后自行解决，那么您可以直接阅读本教程。

 前期工具准备

VMware版本可以任意选择，其他资源版本建议保持一致或相近

        VMware:VMware Workstation Pro v16.1.2（版本可以任意）

        Ubuntu:ubuntu-22.04.4-desktop-amd64.iso

        JDK:jdk-8u171-linux-x64.tar.gz

        Hadoop:hadoop-3.4.0.tar.gz

jdk:Index of java-local/jdk/8u171-b11

Hadoop：Index of /apache/hadoop/common/hadoop-3.4.0

一、JDK、Hadoop的安装

新手建议直接在root用户下进行安装，可以省去很多权限不足的问题。

njh@hadoop-1:~$ sudo su        #进入root用户
[sudo] njh 的密码：              #输入密码
root@hadoop-1:/home/njh#

  1.1下载JDK压缩包

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz

1.2解压JDK

mkdir /app                                      #在根目录下新建app文件
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /app    #将jdk解压到app文件中

 1.3.下载Hadoop压缩包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

1.4解压Hadoop

tar -zxvf hadoop-3.4.0/hadoop-3.4.0.tar.gz -C /app

1.5检查解压后的JDK、Hadoop

ls /app

“有时第一次解压会失败，在/app目录下查看不到解压后的文件，这时重新解压即可”

二、JDK配置

2.1配置环境变量

在下载和解压完JDK后，我们需要在/etc/profile文件中添加jdk的环境变量

vim /etc/profile

 在文件末尾添加以下内容：

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

2.2.使配置文件生效

source /etc/profile

2.3查看Java版本

成功配置JDK后，查看java版本会出现以下信息：

root@hadoop-1:/home/njh# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

 三、Hadoop配置文件

需要修改的配置文件有：

                               hadoop-env.sh

                               yarn-env.sh

                               core-site.xml

                               hdfs-site.xml

                               yarn-site.xml

                               mapred-site.xml

首先进入Hadoop安装路径下的/etc/hadoop-3.4.0/etc/hadoop目录下，然后依次编辑上述文件。

cd /app/hadoop-3.4.0/etc/hadoop

3.1编辑hadoop-env.sh

在hadoop-env.sh文件中添加以下代码：

# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/app/jdk1.8.0_171

3.2编辑yarn-env.sh

在yarn-env.sh文件中添加以下代码：

export JAVA_HOME=/app/jdk1.8.0_171

3.3编辑core-site.xml

<configuration>  
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>

3.4编辑hdfs-site.xml

<configuration>  
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property> 
<property>  
    <name>dfs.namenode.http-address</name>  
    <value>localhost:9870</value>  
</property> 

</configuration>

3.5编辑yarn-site.xml

这里的192.168.147.101要填你虚拟机自己的IP地址

<configuration>  
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.147.101:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
</configuration>

3.6编辑mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.7配置环境变量

在配置环境变量之前，由于我们在配置文件中用到了一些没有创建的文件夹路径，所以我们先来创建文件夹

mkdir -p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

将Hadoop添加到/etc/profile环境变量中

vim /etc/profile
export HADOOP_HOME=/app/hadoop-3.4.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.8使文件生效

source /etc/profile

四、修改hadoop启动、停止文件

首先进入Hadoop的sbin目录下

cd /app/hadoop-3.4.0/sbin

在start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数：

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh，stop-yarn.sh顶部添加以下参数：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

五、启动hadoop

5.1hadoop格式化

首次启动需要对hadoop进行格式化（以后启动都不再需要），输入命令：

hadoop namenode -format

格式化完成以后，输入命令start-all.sh来启动hadoop的各个节点

start-all.sh

最后输入命令 jps 验证，出现以下界面代表启动成功：

 或者也可以登陆localhost:9870查看网页端，能够访问表示hadoop启动成功

六、总结

以上就是本文要讲的内容，主要涉及JDK、Hadoop的安装和配置，感谢您的阅读！

需要注意的几点：

1.source /etc/profile使文件生效每次关闭虚拟机重启后都需要使文件生效一次，因为这里的配置文件是临时生效并不是永久生效，如果想要永久配置环境变量，需要在~/.bashrc中添加环境变量

2.hadoop namenode -format只需首次启动时进行格式化，如果多次格式化可能导致namenode或datanode启动失败，这是由于多次格式化以后两者的CLUSTID不一致导致的。如果出现这样的问题，有两种解决方法：

        （1）删除namenode、datanode和tmp存储的文件，新建它们并重新格式化。

        （2）查看/usr/hadoop/hdfs下的data和name文件，将手动两者文件中的VERSION文件中的CLUSTERID改成一样的，然后重启hadoop。

标签：xml,教程,app,hadoop,yarn,Hadoop,sh,分布式
From： https://blog.csdn.net/n04j04h06/article/details/143833569

相关文章

  • Cesium初级开发教程之十五：抗锯齿和分辨率优化
    一、效果图 二、代码//抗锯齿viewer.scene.fxaa=true;viewer.scene.postProcessStages.fxaa.enabled=trueviewer._cesiumWidget._supportsImageRenderingPixelated=Cesium.FeatureDetection.supportsImageRenderingPixelated()vi......
  • 免费服务器评测：免费、便宜的云服务器领取教程
    市场上有免费的服务器可以领取吗？市场上有免费游戏云服务器吗？很多建站小白刚入网络,也是很需要一台服务器用来练手，今天给大家带来各个免费服务器领取地址以及方法！很多人已经白嫖过了腾讯云阿里云等等大厂的免费服务器，所以今天我教大家撸一个其他平台的云服务器，基本人人可以撸个......
  • Node.js | npm下载安装及环境配置教程
    前言：npm是Nodejs下的包管理器，在下载Node.js后自动安装，因此本文同时适合Node.js/npm的下载安装及环境配置。一、软件安装Node.js中文网官网下载页：Node.js中文网(nodejs.com.cn)1）进入下载页，选择需要的版本下载（建议选择“长期稳定版”）。2）打开安装程序（以.m......
  • SpringBoot进阶教程(八十三)Kaptcha
    Kaptcha是谷歌开源的一个可高度配置的比较老旧的实用验证码生成工具。它可以实现：(1)验证码的字体/大小颜色；(2)验证码内容的范围(数字，字母，中文汉字)；(3)验证码图片的大小，边框，边框粗细，边框颜色(4)验证码的干扰线验证码的样式(鱼眼样式、3D、普通模糊)。v搭建架构添加maven引......
  • 极简 Java 图像处理教程：压缩、封装、编码让传输更轻松！
    1.背景简介及目的这是一个java读取图片流并进行格式转换，图片高质量压缩，ZIP格式转Base64的极简教程。功能需求是在对接农行支付接口时产生的，满足农行二级商户管理接口中上传商户影印件的功能。写这篇博客的目的是分享给大家我在工作中遇到的实际需求，解决问题的思路，以及一些技......
  • ShardingSphere如何轻松驾驭Seata柔性分布式事务？
    0前文上一文解析了ShardingSphere强一致性事务支持XAShardingTransactionManager，本文继续：讲解该类介绍支持柔性事务的SeataATShardingTransactionManagersharding-transaction-xa-core中关于XAShardingTransactionManager，本文研究XATransactionManager和ShardingC......
  • 一文带你了解防火墙的三种工作模式：路由模式、透明模式（网桥）、混合模式。网络安全零基础
    防火墙作为网络安全的核心设备之一，扮演着至关重要的角色。它不仅能够有效防御外部网络的攻击，还能保护内部网络的安全。在如今复杂多样的网络环境下，防火墙的部署和工作模式直接影响着网络安全策略的实施效果。防火墙通常可以工作在三种模式下：路由模式、透明模式（网桥模式）以及......
  • 一分钟教你社工原理：shodan暗黑搜索引擎使用方法，黑客技术零基础入门到精通教程！
    简介Shodan是个啥？之前没听说过吗？那可要小声说你是做安全的，会被人笑话。如果说百度、谷歌是名门正派，那Shodan就是典型的魔教一般的存在；如果百度、谷歌是一招一式都遵规守矩的江湖大侠，那Shodan就是专踢人裤裆的市井混混。和百度、谷歌干的事儿类似，但Shodan专搜各家各户IT系......
  • 熟食店称重计价秤软件下载 佳易王触摸屏称重自动读取重量自动计算金额系统操作教程
    一、概述【软件资源文件下载在文章最后】熟食店称重计价秤软件下载触摸屏称重自动读取重量自动计算金额系统操作教程1、软件可以自动读取称的重量。2、自动计算金额并累计。不需打印条形码直接称重计算，节省人力和时间。 软件同时支持称重商品和条形码百货商品支持进销存，库......
  • wireshark抓包新手使用教程
    wireshark抓包新手使用教程Wireshark是非常流行的网络封包分析软件，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括：1、Wireshark软件下载和安装以及Wireshark主界面介绍。2、WireShark简单抓包示例。通过该例子学会怎么抓包以......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99