首页 > 其他分享 >Hadoop环境安装与配置

Hadoop环境安装与配置

时间：2023-09-06 21:36:03浏览次数：29  
标签：HDFS bda local 配置 Hadoop hadoop usr 安装

1.基础操作系统环境安装（略）

2.JDK的安装与配置

当前各大数据软件如Hadoop等，仍然停留在Java-8上，在本实验选用的是Java-8。在自己的Linux系统中，jdk可以使用如下命令进行一键安装(需具备sudo权限)。

sudo  yum  install  java-1.8.0-openjdk

sudo  yum  install  java-1.8.0-openjdk-devel

执行完命令后直接选择y

待安装完成后，需通过如下命令，检查java（jdk）是否安装成功

java  -version

javac  -version

以下为检测情况：

Hadoop环境安装与配置_Hadoop

3.Hadoop编译版本的下载，解压，并放置到相应目录中

　　注意：在接下来的操作中需将用户切换至Hadoop用户下

添加Hadoop专用的用户

在进行Hadoop配置前是需先添加一个Hadoop专用的用户，操作Hadoop系统（含安装、配置，提交计算任务等），一般给该用户配置sudo权限，以便于配置过程中执行一些高权限的操作。以下设置该用户名为hadoop，可以进行如下操作：

sudo  useradd  -s  /bin/bash  -m  hadoop

sudo  passwd   hadoop

sudo  usermod  -aG  wheel  hadoop

按照提示输入即可（注意虽然密码长度不足8位，会出现警告，但是仍然可以设置）

 

Hadoop环境安装与配置_hadoop_02

 

上图操作命令分别对应添加Hadoop用户、设置密码和给予sudo权限。

生成SSH密钥、配置SSH免密登录

无论单节点的伪分布式部署，还是3节点的完全分布式部署，均需要配置SSH免密登录。配置免密登录需进行以下两步：

2.1.生成当前用户的密钥

ssh-keygen  -t  rsa

Hadoop环境安装与配置_Hadoop_03

 

上图中所有步骤均直接按回车即可。

将生成的公钥安装到目标服务器上

ssh-copy-id  用户名@目标服务器的IP，按照提示输入密码等

例如，安装到本机当前用户（hadoop）

ssh-copy-id  hadoop@localhost

Hadoop环境安装与配置_Hadoop_04

 

图中红框部分输入yes，其余按提示完成即可。

安装wget工具（Linux系统下的下载工具）

具体操作命令如下：

sudo  yum  install   wget

Hadoop环境安装与配置_Hadoop_05

这里直接选择y即可。

Hadoop伪分布式安装

（1）下载安装包
wget  https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

　　

Hadoop环境安装与配置_HDFS_06

 

这里直接根据命令下载即可。

（2） 解压文件并放置到适当的位置

一般将用户自己安装的程序放在/usr/local/目录下，为了便于管理，我们统一创建/usr/local/bda/目录，并将此目录（及其子目录）的所有者改为hadoop

sudo  mkdir  /usr/local/bda
sudo  chown  -R  hadoop:hadoop  /usr/local/bda
cd  ~  # 切换回hadoop用户的home目录
tar  xzvf  hadoop-2.10.1.tar.gz

注意：如果提示找不到 tar 命令，则需要先安装，如下面命令所示：

sudo  yum  install  tar

 

Hadoop环境安装与配置_HDFS_07

 

将解压后的文件夹移动到/usr/local/bda/目录下，并改名为hadoop

mv  ~/hadoop-2.10.1  /usr/local/bda/hadoop

4.Hadoop环境的配置

Hadoop 2.x主要由HDFS、yarn、MapReduce三部分组成，因此总共有5个文件需要进行配置，分别是：

（1） hadoop-env.sh： Hadoop运行环境

（2） core-site.xml： 集群全局参数

（3） hdfs-site.xml： HDFS的配置

（4） yarn-site.xml： 集群资源管理系统参数

（5） mapred-site.xml：MapReduce的参数

需要说明的是：在执行完本节（4.3）的配置后，实际上完成的是整个Hadoop的配置（含MapReduce、YARN）而不仅仅是HDFS的配置。

  • 建立Hadoop所需的目录

因为HDFS、MapReduce正常工作，需要一些专用的目录的辅助。因此在开始配置之前，需要建立相应的文件夹，操作如下：

mkdir  /usr/local/bda/hadoop/tmp
mkdir  /usr/local/bda/hadoop/var
mkdir  /usr/local/bda/hadoop/dfs
mkdir  /usr/local/bda/hadoop/dfs/name
mkdir  /usr/local/bda/hadoop/dfs/data

 

  • 配置hadoop-env.sh

Hadoop系统环境，只需要配置一个环境变量：JAVA_HOME，也就是告诉Hadoop系统，java的安装位置，使用如下命令打开配置文件：

vim  /usr/local/bda/hadoop/etc/hadoop/hadoop-env.sh

Hadoop环境安装与配置_HDFS_08

 

进行如下修改，然后保存、退出（：wq）。

 

  •  配置core-site.xml
vim  /usr/local/bda/hadoop/etc/hadoop/core-site.xml

添加到core-site.xml文件configuration中的内容如下：

<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/bda/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
</property>
<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>

 

说明：此处进行了两项配置，（1）配置了hadoop的临时目录；（2）配置了文件系统缺省的主机和端口。因为是伪分布式系统，所以此处的主机名是localhost

  • 配置hdfs-site.xml
vim  /usr/local/bda/hadoop/etc/hadoop/hdfs-site.xml

进行如下图的配置，各项的说明见下图中的红字，保存，退出

 

Hadoop环境安装与配置_hadoop_09

 

  • 配置mapred-site.xml

首先，将mapred-site.xml的配置模板文件mapred-site.xml.template复制一份，并命名为mapred-site.xml

Hadoop环境安装与配置_Hadoop_10

然后用vim打开进行编辑

vim  /usr/local/bda/hadoop/etc/hadoop/mapred-site.xml

配置内容如下图所示，保存、退出

Hadoop环境安装与配置_hadoop_11

 

  • 配置yarn-site.xml
vim  /usr/local/bda/hadoop/etc/hadoop/yarn-site.xml

 

Hadoop环境安装与配置_Hadoop_12

 

配置内容如下图所示，保存、退出

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>

<property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>

</property>

<property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>2048</value>

</property>

<property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

</property>

 

5.Hadoop环境的验证

5.1.HDFS文件系统格式化及服务启动、关闭

5.1.1. HDFS文件系统格式化

如同其它的文件系统一样，HDFS在使用之前也要先进行格式化操作，使用如下的命令进行：

/usr/local/bda/hadoop/bin/hdfs  namenode  -format

Hadoop环境安装与配置_Hadoop_13

执行HDFS文件系统格式化命令后，会有较大的输出信息，可以检查是否有ERROR信息。

5.1.2. 启动HDFS服务及验证

(1) 输入如下命令，启动dfs服务       

/usr/local/bda/hadoop/sbin/start-dfs.sh

Hadoop环境安装与配置_hadoop_14

 

需要注意的是首次启动时，需要输入yes。其后再次启动则无需输入。

（2）输入 jps 命令，查看相关进程是否正常

Hadoop环境安装与配置_hadoop_15

jps命令的作用是查看当前系统中正在运行的java进程。如图15所示，执行完start-dfs.sh脚本后正常情况下有3个HDFS的进程，一个是NameNode进程，一个是DataNode进程，还有一个是SecondaryNameNode进程。除此之外还有jps进程自己。

（3）访问hdfs的http服务端口

HDFS提供了http服务端口，可以通过浏览器访问，但是需要注意的是，为了访问该端口，需要在防火墙上打开该端口，或者直接关闭防火墙。

检查防火墙状态 

sudo systemctl status firewalld

禁用防火墙 

sudo systemctl status firewalld

关闭防火墙 

sudo systemctl stop firewalld

Hadoop环境安装与配置_HDFS_16

 

关闭防火墙端口后，就可以在windows系统打开浏览器，地址栏中输入虚拟机的“小网IP”及HDFS的http服务端口（2.x版本是50070）

如：192.168.233.128:50070

 

Hadoop环境安装与配置_hadoop_17

 

5.1.3. 停止HDFS服务

注意：在关闭服务器之前，一定要先使用stop-dfs.sh命令停止HDFS文件系统，如果不执行该命令，直接进行服务器的关机操作，则HDFS系统很容易受到损坏。

 

Hadoop环境安装与配置_hadoop_18

 

5.2.YARN服务启动及关闭

与HDFS类似，Hadoop提供了YARN服务的启动（start-yarn.sh）和关闭（stop-yarn.sh）命令。需要注意的是，YARN服务一般在HDFS服务启动后启动，并在HDFS服务关闭之前关闭。其执行顺序一般是：

start-dfs.sh →start-yarn.sh →stop-yarn.sh →stop-dfs.sh

 

Hadoop环境安装与配置_hadoop_19

Hadoop环境安装与配置_HDFS_20

 

与HDFS类似，也可以通过浏览器输入服务器的小网IP+8088端口，访问YARN的http服务，查看在执行的计算任务及系统资源情况（需要打开防火墙端口，或者关闭防火墙）

 

Hadoop环境安装与配置_HDFS_21

 (注：有不足的地方请指出，不喜勿喷！！)


标签：HDFS,bda,local,配置,Hadoop,hadoop,usr,安装
From： https://blog.51cto.com/u_16077801/7390302

相关文章

  • Centos7 安装cmake-绿色版
    下载Cmakewgethttps://cmake.org/files/v3.6/cmake-3.6.2.tar.gz解压Cmaketarxvfcmake-3.6.2.tar.gz&&cdcmake-3.6.2/编译版本安装方式：-----开始----编译安装cmake./bootstrapgmakegmakeinstall查看编译后的cmake版本/usr/local/bin/cmake--version移除原来的cmake版......
  • adb 安装 卸载
    卸载：adbuninstall [package_name]adbuninstall com.haixin.gb28181client查询包名：adbshellpmlistpackages|grep[app_name]adbshellpmlistpackages|findstr [app_name]E:\adb\adb>adbshellpmlistpackages|findstr181package:com.haixin.gb28181cl......
  • ESXI 8.0直通RTX4090显卡CentOS7.9安装显卡驱动实践指南
    案例环境信息EXSI版本：8.0.1操作系统版本：CentOS7.9显卡型号：NVIDIAGeForceRTX4090解决方案一物理机BIOS配置开启GPU直通Above4Gdecoding设置为EnabledMemorymappedI/Oabove4GB设置为Enabled或PCI64-bitresourcehandingabove4G设置为Enabled开启虚拟化功能Inte......
  • Linux 编译安装 OpenSSL
    #下载软件包wgethttps://www.openssl.org/source/openssl-1.1.1v.tar.gz#编译安装OpenSSLtarzxvfopenssl-1.1.1v.tar.gzcdopenssl-1.1.1v./config--prefix=/usr/local/openssl-1.1.1make&&makeinstall#备份原OpenSSLmv/usr/bin/openssl/usr/bin/openssl.......
  • vscode安装可以打开docx文件的插件
      去插件商城搜索并安装。安装后： 打开一个word文档。 ......
  • ubuntu20安装colmap
     教程https://colmap.github.io/install.html 前提r900k 3070显卡cuda11.5opencv3.4.9如果有acoda先从环境变量去掉，以免导致多重库问题 起作用source~/.bashrcgcc11 g++ 11 安装sudoapt-getinstall\git\cmake\ninja-bui......
  • Hadoop学习
    Hadoopjava环境安装hadoop上传、解压环境变量配置JAVA_HOME=/usr/local/java/jdk1.8.0_161CLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexportPATHJAVA_HOMECLASSPATHexportHADOOP_HOME=/hadoop/hadoop-3.3.6exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_H......
  • vim安装插件
    安装插件管理工具curl-fLo~/.vim/autoload/plug.vim--create-dirshttps://raw.githubusercontent.com/junegunn/vim-plug/master/plug.vim编辑~/.vimrc文件，输入下面指令callplug#begin()"Thedefaultplugindirectorywillbeasfollows:"-Vim(Linux/macOS):......
  • Maven 安装与环境变量配置 及 springboot项目创建
    （1）Maven安装：在官网下载：http://maven.apache.org/download.cgi  （2）Maven配置环境变量：解压到一个路径，然后配置环境变量：新建变量名：MAVEN_HOME变量值：D:\apache-maven-3.6.0（这是我的MAVEN路径）编辑变量名：Path在最前面加上：%MAVEN_HOME%\bin新建系统变量--》......
  • 企业微信免登对接​配置
    企业微信免登对接配置1.应用配置企业微信OAuth2接入流程，https://developer.work.weixin.qq.com/1.加入企业，成为管理员；登录企业后台，https://work.weixin.qq.com/创建应用设置可访问的地址设置网页授权：验证域名访问路径下，需要可以访问可信IP,必须设置......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99