完全分布式运行模式

完全分布式运行模式配置步骤

1.准备三台客户机

关闭防火墙

静态IP

主机名

2.安装JDK

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置SSH

9.集群启动并测试脚本

集群分发脚本可以使用的命令

1.scp 安全拷贝、数据拷贝
# scp -r jdk1.8.0_144 root@hadoop2:/opt
2.rsync 同步工具，仅对差异文件进行更新
# rsync -rvl jdk1.8.0_144 root@hadoop3:/opt
-r：递归
-v：显示复制过程
-l：拷贝符号连接
3.xsync 整合rsync、编写脚本
4.ansible 需要学习成本
# ansible all --list-hosts
# ansible all -m ping 
# ansible all -m copy -a "src=/tmp/helloword dest=/tmp"

集群配置

集群部署规划

文件配置

配置核心文件:
core-site.xml
HDFS配置文件:
hadoop-env.sh
hdfs-site.xml
Yarn配置文件:
yarn-env.sh
yarn-site.xml
MapReduce配置文件:
mapred-env.sh
mapred-site.xml 需要重命名 mapred-site.xml.template->mapred-site.xml
在集群中分发配置好的Hadoop配置文件:
# xsync /opt/hadoop-2.7.2/etc/hadoop
查看文件分发情况:
在其他主机上查看
# cat core-site.xml