Hadoop3.X安装教程（Ubuntu）

标签：教程 hadoop HADOOP export Hadoop3 Ubuntu HOME vim root

前提：一台纯净的Ubuntu机器（虚拟机安装教程略）

ctrl + alt + T 打开bash，全程使用bash指令进行，以hadoop 和 java 8为例

首先换源

进入root账户

sudo su -

升级软件列表

apt-get update

安装vim

apt install vim

中途询问直接输入Y确认

下载hadoop和java

创建/data

mkdir /data

注意是/data，在根目录下

然后进入data下

cd /data

下载安装包

这里以hadoop3.3.4和 java8做测试

wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz
wget https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

安装好之后ls查看

解压两个安装包并简单命名

tar -zxvf jdk-8u202-linux-x64.tar.gz

tar -zxvf hadoop-3.3.4.tar.gz

重命名，以便后续操作容易

mv jdk-8u202-linux-x64/ java8/
mv hadoop-3.3.4/ hadoop3

配置java环境变量

vim /etc/profile

进入vim编辑器后按i进入编辑模式
然后到最底下添加

export JAVA_HOME=/data/java8
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/ 
export PATH=$PATH:$JAVA_HOME/bin

然后esc退出编辑模式
输入:wq保存退出
然后刷新配置

source /etc/profile

输入java -version
查看版本

如图所示配置成功

配置hadoop

进入配置文件目录

cd hadoop3/etc/hadoop

然后修改(vim使用自行百度，我打字写基础用法手挺累的)

vim core-site.xml

在最底下添加

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

保存退出

然后修改hdfs-site.xml

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

安装ssh

apt install ssh

配置免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

按照我的步骤操作即可

格式化

进入hadoop3目录执行

cd /data/hadoop3

执行

bin/hdfs namenode -format

成功

配置环境变量

vim /etc/profile

将下面的内容加到最底下

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

然后source /etc/profile刷新一下

进入hadoop3/etc/hadoop/hadoop.env.sh 修改JAVA_HOME,增加其他变量

export JAVA_HOME=/data/java8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

保存退出
使用

sbin/start-dfs.sh

启动查看localhost：9870，效果如下

教程继续
接下来是官网样例演示，直接过一遍就行
按行执行，最后关掉dfs

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -cat output/*
sbin/stop-dfs.sh

配置yarn

修改mapred-site.xml，（注意当前在hadoop3目录下）

vim etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

然后修改yarn-site.xml

vim etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

修改后保存退出

hadoop环境变量配置

vim /etc/profile

添加

export HADOOP_HOME=/data/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后

source /etc/profile

测试（激动人心）

启动全部

start-all.sh

jps查看进程

jps

成功启动，打开Firefox浏览器，输入

localhost:9870
localhost:8088

查看两个网站
完美启动

最后

环境变量已经全部配置
下次进入只需要任意目录下输入

start-all.sh

即可启动

stop-all.sh

关闭

标签：教程,hadoop,HADOOP,export,Hadoop3,Ubuntu,HOME,vim,root
From： https://www.cnblogs.com/thrush/p/16750386.html