Hadoop伪分布式安装
安装环境：Centos7.5，只少2核4G
提前准备：Linux中要安装JDK8，Zookeeper-3.5.7
1. 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2. 修改主机名
Hadoop集群中，主机名中尽量不要出现-或者_
vim /etc/hostname
将原来的主机名删除，添加自己指定的主机名
3. 需要将主机名和IP进行映射
vim /etc/hosts
进入文件之后，除了127.0.0.1以及::1这开头的两行以外，其余的行全部删除
之后添加当前主机的IP 主机名，例如
10.10.153.69 hadoop01
4. 关闭SELINUX
vim /etc/selinux/config
将SELINUX属性的值改为disabled
5. 重启
reboot
6. 配置免密登录
ssh-keygen（回车之后，再根据三次提示直接按三次回车键）
ssh-copy-id主机名（回车之后，输入一次yes，然后在输入一次密码）
测试是否免密成功：ssh hadoop01
如果不需要密码，那么说明免密成功，那么输入logout
7. 上传或者下载hadoop
进入/home/software目录，来上传或者下载Hadoop。
cd /home/software/
8. 解压Hadoop安装包
tar -xvf hadoop-3.1.3.tar.gz
9. 进入Hadoop的配置文件目录
cd hadoop-3.1.3/etc/hadoop/
10. 编辑文件
vim hadoop-env.sh
在文件中添加JAVA_HOME，值是JDK的安装路径
export JAVA_HOME=/home/software/jdk1.8
保存退出，重新生效这个文件
source hadoop-env.sh
11. 编辑文件
vim core-site.xml
添加内容
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-3.1.3/tmp</value>
</property>
12. 编辑文件
vim hdfs-site.xml
添加内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
13. 编辑文件
vim mapred-site.xml
添加内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
14. 编辑文件
vim yarn-site.xml
添加内容
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
15. 编辑文件
vim workers ------- 注意，如果是在Hadoop2.X，那么这个文件是slaves
将原来的localhost删除掉，然后添加当前主机的主机名
16. 配置环境变量
vim /etc/profile
在文件末尾添加
export HADOOP_HOME=/home/software/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出，重新生效这个文件
source /etc/profile
通过hadoop version命令来确定配置是否有效
17. 第一次启动Hadoop之前，需要先进行一次格式化
hadoop namenode -format
如果出现了Storage directory /home/software/hadoop-3.1.3/tmp/dfs/name has been successfully formatted.表示格式化成功
18. 进入Hadoop安装目录的子目录sbin下
cd /home/software/hadoop-3.1.3/sbin/
19. 编辑文件
vim start-dfs.sh
在文件头部添加
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
20. 启动HDFS
start-dfs.sh
21. 通过jps查看，会发现三个进程
NameNode
DataNode
SecondaryNameNode
22. 编辑文件
vim start-yarn.sh
在文件头部添加
YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
YARN_NODEMANAGER_USER=root
23. 启动YARN
start-yarn.sh
24. 通过jps查看，会发现多出来两个进程
ResourceManager
NodeManager
25. 在第一次关闭Hadoop之前，同样修改stop-dfs.sh以及stop-yarn.sh
- stop-dfs.sh的修改内容同第19条。
- stop-yarn.sh的修改内容同第22条。
- 之后，再次启动Hadoop，那么可以使用start-all.sh。如果单独启动HDFS，那么使用start-dfs.sh；如果单独启动YAR，那么使用start-yarn.sh。如果要关闭，将start命令改成stop命令即可
26. 可能出现的问题的解决方案
1. 如果出现了Name or Service not known或者是UnknownHost之类的问题，那么检查hosts文件是否配置正确，或者是主机名是否写对
2. 如果出现了commandc not found，那么检查环境变量是否正确，或者修改完环境变量之后是否进行了source
查看namenode节点状态
hdfs haadmin -getServiceState nn1
标签：Hadoop,hadoop,yarn,主机名,sh,vim,安装,分布式 From： https://blog.51cto.com/u_15964895/6398396