hadoop集群常见错误

• 虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西

[root@slave2 ~]# jps
9647 Jps

• 解决方案

# 进入/tmp查看
[root@slave1 dfs]# cd /tmp
[root@slave1 tmp]# ll
总用量 48
drwxr-xr-x.  2 root root    32 12月 19 01:19 hsperfdata_root
# 修改权限
chmod 755 hsperfdata_*

• 错误2：在linux集群中，启动hadoop集群时，查看3台机器的jps都没有DataNode进程，其他进程正常

# 解决方案：3台虚拟机都执行如下
# 停止服务
stop-all.sh

# 进入如下目录，tmp目录下只有dfs，删除data和name
[root@slave3 ~]# cd /opt/software/hadoop-2.9.2/
[root@slave3 hadoop-2.9.2]# ls
dfs  tmp
[root@slave3 hadoop-2.9.2]# cd dfs/
[root@slave3 dfs]# ls
data  name
[root@slave3 dfs]# rm -rf data/
[root@slave3 dfs]# rm -rf name/

# 删除logs目录下的所有文件
[root@slave3 dfs]# cd /usr/local/software/hadoop-2.9.2/logs/
[root@slave3 logs]# rm -r /usr/local/software/hadoop-2.9.2/logs/*
rm：是否进入目录"/usr/local/software/hadoop-2.9.2/logs"? y
rm：是否删除普通文件 "/usr/local/software/hadoop-2.9.2/logs/hadoop-root-datanode-slave3.log"？y
rm：是否删除目录 "/usr/local/software/hadoop-2.9.2/logs"？y

# 格式化
[root@slave3 logs]# hdfs namenode -format

# 在slave1启动hdfs
start-dfs.sh
# 在slave3启动yarn
start-yarn.sh
# 查看jps成功