环境准备
模板虚拟机准备
1、安装模板虚拟机
- IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G
- 下载安装VWare Workstation Pro 16，因为Win11与VMWare15不兼容，在15中打开虚拟机会蓝屏
- Linux系统全部以CentOS-7.5-x86-1804为例
2、hadoop100 虚拟机配置
- 测试虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
- 安装epel-release（这一步暂时没有成功,但没有影响后续使用）
[root@hadoop100 ~]# yum install -y epel-release
3、关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
4、创建用户并修改密码
[root@hadoop100 ~]# useradd user
[root@hadoop100 ~]# passwd 123
5、配置user用户具有root权限，方便后期加sudo执行root权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
- 修改/etc/sudoers文件，在%wheel这行下面添加一行
user ALL=(ALL) NOPASSWD:ALL
6、在/opt 目录下创建文件夹，并修改所属主和所属组
- 在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
- 修改module、software文件夹的所有者和所属组均为user用户
[root@hadoop100 ~]# chown user:user /opt/module
[root@hadoop100 ~]# chown user:user /opt/software
- 查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
7、卸载虚拟机自带的JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
8、重启虚拟机
[root@hadoop100 ~]# reboot
克隆虚拟机
1、利用模板机hadoop100，克隆三台虚拟机
- 克隆hadoop102、hadoop103、hadoop104
- 克隆时，要先关闭hadoop100
2、修改克隆机IP
- 修改克隆机的静态IP，以hadoop102为例
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
其中IPADDR的值改为192.168.10.102
3、修改克隆机主机名
[root@hadoop100 ~]# vim /etc/hostname
hadoop102
4、重启克隆机
安装JDK
1、用XShell传输工具将JDK导入到opt目录下面的software文件夹下面
2、解压JDK到/opt/module目录下
[user@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
3、配置JDK环境变量
- 新建/etc/profile.d/my_env.sh文件
[user@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
- 添加内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
- 保存退出，source一下/etc/profile文件，让新的环境变量PATH生效
[user@hadoop102 ~]$ source /etc/profile
4、测试JDK是否安装成功
[user@hadoop102 ~]$ java -version
安装Hadoop
1、用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
2、进入到Hadoop安装包路径下
[user@hadoop102 ~]$ cd /opt/software/
3、解压安装文件到/opt/module下面
[user@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4、查看是否解压成功
[user@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3
5、将Hadoop添加到环境变量
- 获取Hadoop安装路径
[user@hadoop102 hadoop-3.1.3]$ pwd /opt/module/hadoop-3.1.3
- 打开/etc/profile.d/my_env.sh 文件
[user@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
- 添加如下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- 保存退出，让文件生效
[user@hadoop102 hadoop-3.1.3]$ source /etc/profile
6、测试是否安装成功
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
7、Hadoop重要目录
- bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
- etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
- lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
- sbin目录：存放启动或停止Hadoop相关服务的脚本
- share目录：存放Hadoop的依赖jar包、文档和官方案例