搭建Hadoop开发环境并运行WordCount测试程序

步骤 1：修改主机名和IP地址
1.1 修改主机名

sudo hostnamectl set-hostname your_hostname

1.2 修改IP地址和绑定主机名与IP，根据你的网络配置进行设置。

步骤 2：关闭防火墙并关闭防火墙开机启动

sudo systemctl stop firewalld
 sudo systemctl disable firewalld

步骤 3：安装JDK并配置环境变量
3.1 安装JDK，这里假设你已经下载了适用于你的系统的JDK安装包。

tar -zxvf jdk-*.tar.gz -C /opt

3.2 配置环境变量，在/etc/profile或者~/.bashrc中添加以下行，并保存：

export JAVA_HOME=/opt/jdk
 export PATH=$JAVA_HOME/bin:$PATH

然后执行以下命令使配置生效：

source /etc/profile  # 或 source ~/.bashrc

步骤 4：安装Hadoop并配置
4.1 下载Hadoop，解压并配置环境变量。假设你已经下载了Hadoop安装包。

tar -zxvf hadoop-*.tar.gz -C /opt

4.2 修改Hadoop配置文件（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）以满足你的需求。

步骤 5：初始化HDFS（格式化文件系统）

hadoop namenode -format

步骤 6：启动Hadoop
6.1 启动HDFS：

start-dfs.sh

6.2 启动YARN：

start-yarn.sh

步骤 7：实现WordCount测试程序
7.1 在Hadoop用户当前目录下创建WordCount文件夹，并在其中创建两个测试文件file1.txt和file2.txt，填写内容。

7.2 在Hadoop文件系统上创建一个名为 "input" 的文件夹：

hadoop fs -mkdir /input

7.3 将WordCount文件夹中的file1.txt和file2.txt上传到刚刚创建的 "input" 文件夹：

hadoop fs -put /home/hadoop/WordCount/*.txt /input

7.4 运行WordCount示例程序：

hadoop jar hadoop-mapreduce-examples-*.jar wordcount /input /output

步骤 8：查看输出结果
8.1 查看输出结果的文件位置：

hadoop fs -ls /output

8.2 使用以下命令查看WordCount的结果：

hadoop fs -cat /output/part-r-00000