WIN10安装配置Hadoop

原文链接：WIN10安装配置Hadoop【作者：余生】

本文记录在WIN10上hadoop单节点的安装，后续再记录多节点分布式的安装。

1、安装JAVA环境

下载JDK8，官网链接：Java SE Development Kit 8

选择64版本：jdk-8u241-windows-x64.exe

下载过程会提示注册oracle账号，请注册，如果是已有oracle账号的可以直接登录，紧接着下载、安装、配置环境变量。

如果JDK安装路径是C:\Program Files\Java，因为Program Files目录有空格，把这个路径配到环境变量Path会报错，填写环境变量时请使用PROGRA~1代替Program Files。

2、下载hadoop

下载hadoop，镜像链接：Index of /apache/hadoop/common

注意：请不要下载最新版本，建议下载 hadoop-3.1.3.tar.gz （大小约322M）或者更低的版本。解压到C:\hadoop，路径可以随意，但不要有中文或空格。

下载winutils，Windows安装hadoop需要这部分文件，链接：steveloughran/winutils ，找到3.0版本，或者cdarlint/winutils 找到 3.2.0，下载bin目录的文件，放入/替换 C:\hadoop\bin 文件夹内的文件，特别是要放入hadoop.dll和winutils.exe文件，并复制一份hadoop.dll放到C:\Windows\System32下。

配置hadoop环境变量，把C:\hadoop添加到HADOOP_HOME，并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。

打开CMD，输入hadoop version 测试是否正常显示版本信息。

3、配置hadoop

切换至目录：C:\hadoop\hadoop-3.1.3\etc\hadoop 下，

修改core-site.xml：

需在目录C:/hadoop/hadoop-3.1.3/下创建data文件夹，配置文件中路径前需加“/”。HDFS可使用localhost，如果在hosts文件已经配置了主机映射，也可以直接填主机名。

<configuration>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/C:/hadoop/hadoop-3.1.3/data</value>
    </property>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://your_host_name_or_localhost:9000</value>
    </property>
</configuration>

修改hadoop-env.cmd

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_241

修改hdfs-site.xml

单节点填1即可，如果是多节点，根据节点数量填写。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/C:/hadoop/hadoop-3.1.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/C:/hadoop/hadoop-3.1.3/data/datanode</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
     <property>
            <name>mapreduce.framework.name</name>
             <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

修改完毕。

4、节点格式化

打开cmd执行：

hdfs namenode -format

如正常，会显示namenode has been successfully formatted。如果出错，可能原因有如：环境变量配置错误如路径出现空格，或者winutils版本不对hadoop版本过高等，或hadoop的etc下文件配置有误。

5、启动Hadoop

切换到C:\hadoop\sbin目录下（如果有正常配置环境变量是不需要切换目录的），执行命令：

start-all.cmd

启动Hadoop，此时会弹出4个CMD窗口，分别是NameNode、ResourceManager、NodeManager、DataNode。检查4个窗口有没有报错。在CMD执行jps看到这4个进程。

6、登录WEB验证

建议关闭防火墙。

在浏览器输入‘http://your_host_name_or_localhost:8088/’访问集群节点。

在浏览器输入‘http://your_host_name_or_localhost:9870/’访问HDFS。