首页 > 系统相关 >【图文教程】Centos 7下安装Hadoop

【图文教程】Centos 7下安装Hadoop

时间：2022-11-23 10:56:56浏览次数：73  
标签：hdfs Centos data hadoop Hadoop etc HOME 2.7 图文

环境说明：

系统：Centos7 在VM中安装的

hadoop版本：2.7.7

JDK：1.8

注意：Hadoop需要Java环境的。记得安装Java环境

PS：Centos JDK安装

 mkdir /data

1：上传jdk的tar.解压

2：修改/etc/proflie，把Javahome环境变量配置上：

记住：在修改前，先备份

在文件最后添加：

export JAVA_HOME=/data/jdk1.8.0_351
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

说明：/data/jdk1.8.0_351 修改成你自己的

如下图：

06dfb4718ad26de6196b2c9044e9b1be.png

添加完成后，使用 source /etc/profile 使其生效。

查看Java版本：

fcaad23a4310475b06840c53eb140d49.png

开始安装：

一：下载安装包：

1.1: 安装包下载地址 https://repo.huaweicloud.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

1.2：上传并解压

 mkdir /data

 

在Xshell中可以使用rz命令进行上传

34cf8843828cf7bca47114547068d1d4.png

解压：

 
 cd /data
 
 tar -zxvf hadoop-2.7.7.tar.gz

二：hadoop配置

声明：下文中踢掉的，hadoop的安装目录：

比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了

 

2.1：修改hadoop安装目录 /etc/hadoop 下的 hadoop-env.sh的内容

cd /data/hadoop-2.7.7/etc/hadoop/

注意：是hadoop的安装目录：

比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了

 

vi hadoop-env.sh

输入Javahome的配置

# 指定JAVA_HOME
export JAVA_HOME=/data/jdk1.8.0_351

74ab7fd8a28372b1d4ae8da663c65020.png

2.2：修改hadoop安装目录 /etc/hadoop 下的

vi core-site.xml

输入下面：

主要：<configuration> 这个标签。后面第3步和第4步，同样需要注意。

<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.50.135:9002</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>
</configuration>

需要主要，将hdfs的ip修改成你自己物理机的ip.

3a13fe92f4af07af07601031fb5572a6.png

我们发现，在配置hadoop运行时候文件存储路径为/data/hadoop 如果没有这个目录，需要创建

 

注：这里fs.defaultFS的value最好是写本机的静态IP。当然写本机主机名，再配置hosts是最好的，如果用localhost，然后在windows用java操作hdfs的时候，会连接不上主机。

2.3：修改 hadoop安装目录/etc/hadoop下的hdf-site.xml的内容

vi hdfs-site.xml

输入:

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/hadoop/hadoop/hdfs/nn</value>
        </property>
        <property>
                <name>fs.checkpoint.dir</name>
                <value>/data/hadoop/hdfs/snn</value>
        </property>
        <property>
                <name>fs.checkpoint.edits.dir</name>
                <value>/data/hadoop/hdfs/snn</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/hadoop/hdfs/dn</value>
        </property>

        <property>
            <name>dfs.name.dir</name>
            <value>/data/hadoop/name</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/data/hadoop/node</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.http.address</name>
            <value>192.168.50.135:9000</value>
        </property>
        <property>
             <name>ipc.maximum.data.length</name>
             <value>134217728</value>
        </property>
</configuration>

同样需要注意的是将ip修改成自己服务器的真实ip

2.4：修改 hadoop安装目录下的/etc/hadoop 下的yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.application.classpath</name>
    <value>
        /data/hadoop-2.7.7/etc/*,
        /data/hadoop-2.7.7/etc/hadoop/*,
        /data/hadoop-2.7.7/lib/*,
        /data/hadoop-2.7.7/share/hadoop/common/*,
        /data/hadoop-2.7.7/share/hadoop/common/lib/*,
        /data/hadoop-2.7.7/share/hadoop/mapreduce/*,
        /data/hadoop-2.7.7/share/hadoop/mapreduce/lib/*,
        /data/hadoop-2.7.7/share/hadoop/hdfs/*,
        /data/hadoop-2.7.7/share/hadoop/hdfs/lib/*,
        /data/hadoop-2.7.7/share/hadoop/yarn/*,
        /data/hadoop-2.7.7/share/hadoop/yarn/lib/*
    </value>
</property>

</configuration>

三：将Hadoop配置到环境变量中：

在 /etc/profile中配置

export HADOOP_HOME=/data/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=/data/hadoop-2.7.7/etc/hadoop

ec2d264c83213e5aa772227206c4a79b.png

4：配置hosts

可能会用到。如下错误时候修改：

7e5cd7080cdd82904125a048d307f29f.png

修改hosts：

在/etc/hosts。同样需要注意，修改前，记得备份下。

192.168.50.135 VM-xxx-centos localhost.localdomain gp-master 

::1 VM-xx-centos VM-xxx-centos
192.168.50.135 master01

 

01184ceab4e12dde0e7d0f040037297b.png

5：制作证书，免登陆配置

切换到root下

cd /root

接着：

#执行生成密钥命令：
ssh-keygen -t rsa
#然后三个回车

继续：

ssh-copy-id -i /root/.ssh/id_rsa.pub root@master01

选择yes

输入登录第一台节点的密码(操作完成该节点公钥复制到第一台节点中)

fb4aee8e0fbaca5abf4fca40c5fac3da.png

 

6：启动

进入到hadoop安装目录/sbin下，执行start-all.sh命令

./start-all.sh

3f3c47c9e716f5bb199f0c3a4cdd74ab.png

使用jps命令验证是否已经启动成功（这些都启动了才算成功：ResourceManager、DataNode、SecondaryNameNode、NodeManager、TaskManagerRunner、YarnTaskExecutorRunner、NameNode）：

jps

ce7578f819d7440584bb19a2a89900e0.png

 

标签：hdfs,Centos,data,hadoop,Hadoop,etc,HOME,2.7,图文
From： https://www.cnblogs.com/kaigejava/p/16917588.html

相关文章

  • centos修改机器名，设置ssh免密登录
    1、永久修改机器名hostnamectlset-hostnamenode1vi/etc/hosts192.168.2.100node1192.168.2.101node2 2、免密登录①本地客户端生成公私钥：（一路回车默认即可）......
  • VMware系列---【手把手初始化安装一台centos7纯净系统】
    手把手初始化安装一台centos7纯净系统1.下载centos7镜像参考链接：https://www.cnblogs.com/hujunwei/p/15527013.html这里为了节省磁盘空间，我选择纯净版mini2.打开vmwar......
  • window11设置电脑默认存储到D盘图文版步骤
    点击控制面板进入系统和安全，点击系统=>点击系统=>存储=>高级存储设置=>保存新内容的位置改新内容的保存位置，将所有保存地址改为【D盘】，点击【应用】即可。......
  • 配置yum源时出现格式问题: file: file:///etc/yum.repos.d/CentOS-Base.repo, line: 1
    一般或者yum源的配置文件“http://mirrors.aliyun.com/repo/Centos-7.repo”很多人直接喜欢用wget，这样下载下来会出现跟源文件MD5不一致，原因可能是里面的文件格式发生了变......
  • MySQL 5.7.20详细安装教程（图文版）
    MySQL5.7.20详细安装教程（图文版）在自己在电脑上安装个MySQL的5.7.20版本，安装此版本主要是方便于平常使用。如图，选择自己电脑对应的版本进入官网进行下载。1、下载地址：My......
  • CentOS7配置rsync实现文件同步
    文章目录​​一、安装软件包​​​​二、修改系统配置​​​​1、关闭SELINUX​​​​2、开通防火墙端口​​​​3、启用rsyncd服务​​​​三、配置rsync​​​​1、创建操......
  • CentOS7没有ftp命令的解决方法
    文章目录​​1、找到ftp命令所在的软件包​​​​2、安装ftp软件包​​​​3、验证​​​​4、获取视频教程​​​​5、文章版权​​在CentOS中，输入ftp命令，提示commandnot......
  • CentOS7没有ifconfig命令的解决方法
    文章目录​​1、找到ifconfig命令所在的软件包​​​​2、安装net-tools软件包​​​​3、验证​​​​4、获取视频教程​​​​5、文章版权​​今天安装了CentOS7，选择的是......
  • CentOS7配置samba共享文件系统
    文章目录​​一、安装软件包​​​​二、修改系统配置​​​​1、关闭SELINUX​​​​2、开通防火墙端口​​​​3、启用smb服务​​​​三、Samba服务的参数文件​​​​四......
  • CentOS7没有telnet命令的解决方法
    文章目录​​1、找到telnet命令所在的软件包​​​​2、安装telnet软件包​​​​3、验证​​​​4、获取视频教程​​​​5、文章版权​​在CentOS中，输入telnet命令，提示com......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99