Hadoop完全分布式 => 集群ssh配置与群起

ssh配置

cd /root/.ssh/  (注意如果没有.ssh文件，执行下命令ssh会自动生成)

ssh-keygen -t rsa 一路回车

将公钥拷贝到hadoop102

ssh-copy-id hadoop102

拷贝成功后hadoop102的/root/.ssh/文件夹会生成文件authorized_keys

这样之后就hadoop101可以无密登录hadoop102了，之后三个虚拟机都做同样操作保证相互之间无密登录

集群群起

1.配置slaves

cd /opt/module/hadoop-2.9.2/etc/hadoop

vim slaves

hadoop101
hadoop102
hadoop103

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行

同步所有结点配置文件

xsync slaves

cd /opt/module/hadoop-2.9.2/

hadoop101:

sbin/start-dfs.sh

这样三个集群的HDFS服务就都起来了，接下来起yarn服务，注意必须在hadoop102上启动

hadoop102:

cd /opt/module/hadoop-2.9.2/

sbin/start-yarn.sh

至此集群启动成功

集群测试：

1.上传文件到集群

hdfs dfs -mkdir -p /user/atguigu/input

hdfs dfs -put /opt/software/hadoop-2.9.2.tar.gz /

打开网址查看文件http://hadoop101:50070/explorer.html#/

集群启动停止方式：

sbin/stop-dfs.sh

sbin/stop-yarn.sh