目录一.基础环境准备1.角色分配2.准备软件源3.部署JDK环境4.配置host文件解析5.配置ssh免密登录6.编写data_rsync.sh同步脚本二.安装zookeeper环境1.zookeeper集群的节点数量选择2.下载zookeeper软件3.解压软件包4.配置环境变量5.准备配置文件6.同步数据7.生成myid文件8.启动zooke

一、安装编译相关依赖此篇文档及Hadoop相关文档相关软件包统一在此百度网盘：链接：https://pan.baidu.com/s/11F4THdIfgrULMn2gNcObRA?pwd=cjllyuminstallsnappysnappy-develbzip2bzip2-devellzolzo-devellzoplibXtstlzo-develzlib-developensslopenssl-develncurse

一、Hadoop简介1.1Hadoop3核心组件HDFS：分布式文件系统：解决海量数据存储YARN：集群资源管理和任务调度框架：解决资源任务调度MapReduce：分布式计算框架：解决海量数据计算1.2Hadoop集群简介Hadoop集群包括两个集群：HDFSYARN两个集群逻辑上分离(互不影响、互不依赖)物理上一

Hadoop3.3.0--Linux编译安装基础环境：Centos7.7编译环境软件安装目录mkdir-p/export/serverHadoop编译安装（选做）安装编译相关的依赖yuminstallgccgcc-c++makeautoconfautomakelibtoolcurllzo-develzlib-developensslopenssl-develncurses-develsnappysn

Namenode默认端口：端口介绍9820NameNode默认的内部端口9870NameNode的web访问（http访问）端口9871NameNode的web访问（https访问）端口SecondaryNamenode默认端口：端口介绍9868SecondaryNameNode的web访问（http访问）端口9869SecondaryNameNode的web

目录1️⃣、Hadoop概述1.1、Hadoop是什么1.2、三大发行版本1.3、优势1.4、组成HDFSYARNMapReduceHDFS、YARN、MapReduce三者关系1.6、大数据技术生态体系2️⃣、Hadoop运行环境

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在

1.YarnHa原理ResourceManager记录着当前集群的资源分配和Job运行状态，YarnHa利用Zookeeper等共享存储平台来存储这些信息以达到高可用。利用Zookeeper实现ResourceManag

1.什么是HAHA是HighAvailability的简写，即高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可用。Hadoop的HA模

0.Hadoop和Java之间的版本配套官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本支持J

4.2完全分布式运行模式（开发重点）分析：(1）准备3台客户机（关闭防火墙、静态ip、主机名称）(2）安装JDK(3）配置环境变量(4）安装Hadoop(5）配置环境变量(6）配置ssh(7）配置集群(8）单点启动(9）群

Docker部署进入Docker命令行之后，拉取一个Linux镜像作为Hadoop运行的环境，这里推荐使用CentOS镜像（Debian和其它镜像暂时会出现一些问题）。dockerpullcentos:8

0.Hadoop和Java之间的版本配套官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersionshadoop3.x版本仅支持Java8hadoop2.7.x及以上版本

前提：一台纯净的Ubuntu机器（虚拟机安装教程略）ctrl+alt+T打开bash，全程使用bash指令进行，以hadoop和java8为例首先换源进入root账户sudosu-升级软件列表ap