首页 > 其他分享 >Hadoop环境搭建

Hadoop环境搭建

时间:2023-09-25 19:31:55浏览次数:55  
标签:文件 虚拟机 环境 hadoop Hadoop etc export 节点 搭建

前言

   Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等),Hadoop集群搭建,配置和测试。

二、Linux系统安装

1.环境准备

Centos7镜像文件(mini)

Centos7下载链接:https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/

四、静态网络配置

1.查看网络是否连通

ping www.baidu.com

2.安装net-tools

yum upgrade

yum install net-tools

3.查看Mac地址(enter后面)

Hadoop环境搭建_Hadoop

4.查看ip地址的起始和结束地址

Hadoop环境搭建_Hadoop_02

5.修改网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

Hadoop环境搭建_配置文件_03

mac地址为2步骤的enter值

ip地址参照4步骤自行选择(必须在起始和结束的范围内)

子网掩码默认设置为255.255.255.0

网关的值为将ip地址中最后一段的值改为2

DNS使用谷歌提供的免费dns1:8.8.8.8


6.重启网络服务,查看是否配置成功

systemctl restart network

ping www.baidu.com


8.按照以上步骤,克隆两台虚拟机Hadoop2 Hadoop3

六、配置hosts文件和ssh免密登录

1.修改hosts配置文件(所有虚拟机都需要配置此文件)

vi /etc/hosts

Hadoop环境搭建_Hadoop_04

2.生成密钥文件(四次回车)

ssh-keygen -t rsa

Hadoop环境搭建_hadoop_05

2.将本机公钥文件复制到其它虚拟机上(接收方需先开机)

 在hadoop01上执行,先输入yes,后输入对应主机的密码,多台虚拟机配置操作相同

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03


3.在虚拟机hadoop02,hadoop03都需要执行,保证三台主机都能够免密登录

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop02


3.查看是否成功免密登录

Hadoop环境搭建_Hadoop_06

七、Hadoop集群配置

1.在所有虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件

mkdir -p /export/data

mkdir -p /export/servers

mkdir -p /export/software

Hadoop环境搭建_配置文件_07

2.准备安装包

hadoop-2.7.4.tar.gz

jdk-8u161-linux-x64.tar.gz


3.下载安装软件FinalShell

 打开FinalShell后点击文件并选择新建,名称填hadoop1,主机填写hadoop1的IP地址,再点击用户身份验证,把hadoop1的账号,密码输入,就可以通过Xshell控制虚拟机,方便后续软件的传输。(重复步骤新建会话控制hadoop2,hadoop3)

Hadoop环境搭建_Hadoop_08

4.在FinalShell先进入software文件内,然后下载rz命令,并使用rz命令进行文件上传,此时会弹出上传的窗口,选择要上传的文件,点击确定即可将本地文件上传到Linux上。

cd /export/software

yum -y install lrzsz

rz


5.安装JDK(所有虚拟机都要操作)

5.1 解压jdk

cd /export/software

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/


5.2 重命名jdk目录

cd /export/servers

mv jdk1.8.0_161 jdk

Hadoop环境搭建_hadoop_09

5.3 配置环境变量

vi /etc/profile

#tip:在配置文件末尾追加

export JAVA_HOME=/export/servers/jdk

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

Hadoop环境搭建_Hadoop_10

5.4 使配置文件生效

source /etc/profile

Hadoop环境搭建_Hadoop_11

5.5 查看是否配置成功

java -version

Hadoop环境搭建_Hadoop_12

6.Hadoop安装(所有虚拟机都要操作)

6.1 解压hadoop

cd /export/software

tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/


6.2 打开配置文件

vi /etc/profile

6.3 配置hadoop环境变量

#tip:在文件末尾追加

export HADOOP_HOME=/export/servers/hadoop-2.7.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop环境搭建_配置文件_13

6.4 使配置文件生效

source /etc/profile

Hadoop环境搭建_Hadoop_14

6.5 查看是否配置成功

hadoop version

Hadoop环境搭建_配置文件_15

7.Hadoop集群配置

7.1 进入主节点配置目录

cd /export/servers/hadoop-2.7.4/etc/hadoop/

Hadoop环境搭建_配置文件_16

7.2 修改hadoop-env.sh文件

vi hadoop-env.sh

#tip:找到相应位置,添加这段话

export JAVA_HOME=/export/servers/jdk

Hadoop环境搭建_Hadoop_17

7.3 修改core-site.xml文件

vi core-site.xml

#tip:下图中乱码部分为注释代码,可以删掉,不影响

<configuration>

<!--用于设置Hadoop的文件系统,由URI指定-->

<property>

<name>fs.defaultFS</name>

<!--用于指定namenode地址在hadoop01机器上-->

<value>hdfs://hadoop1:9000</value>

</property>

<!--配置Hadoop的临时目录,默认/tem/hadoop-${user.name}-->

<property>

<name>hadoop.tmp.dir</name>

<value>/export/servers/hadoop-2.7.4/tmp</value>

</property>

</configuration>

Hadoop环境搭建_配置文件_18

7.4 修改hdfs-site.xml文件

vi hdfs-site.xml

<configuration>

<!--指定HDFS的数量-->

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<!--secondary namenode 所在主机的IP和端口-->

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop2:50090</value>

</property>

</configuration>

Hadoop环境搭建_配置文件_19

7.5 修改mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

Hadoop环境搭建_Hadoop_20

vi mapred-site.xml

<configuration>

<!--指定MapReduce运行时的框架,这里指定在YARN上,默认在local-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

Hadoop环境搭建_hadoop_21

7.6 修改yarn-site.xml文件

vi yarn-site.xml

<configuration>

<!--指定YARN集群的管理者(ResourceManager)的地址-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

Hadoop环境搭建_hadoop_22

7.7 修改slaves文件

#tip:将文件中的localhost删除,添加主节点和子节点的主机名称

#tip:如主节点hadoop1,子节点hadoop2和hadoop3

vi slaves

Hadoop环境搭建_hadoop_23

7.8将主节点中配置好的文件和hadoop目录copy给子节点

#tip:这里主节点为hadoop01,子节点为hadoop02和hadoop03

scp /etc/profile hadoop2:/etc/profile

scp /etc/profile hadoop3:/etc/profile

scp -r /export/ hadoop2:/

scp -r /export/ hadoop3:/


7.9 使子节点中的配置文件生效

#tip:返回hadoop2和hadoop3节点执行下面命令

source /etc/profile

Hadoop环境搭建_hadoop_24

Hadoop环境搭建_Hadoop_25

7.10 在主节点格式化文件系统(successfully formatted 格式化成功)

hdfs namenode -format


八、Hadoop集群测试

1.启动集群

1.1在主节点启动所有HDFS服务进程

start-dfs.sh

1.2 在主节点启动所有HDFS服务进程

start-yarn.sh

1.3 使用jps命令查看进程

Hadoop环境搭建_hadoop_26

2.关闭防火墙(所有虚拟机都要操作)

systemctl stop firewalld #关闭防火墙

Hadoop环境搭建_配置文件_27

systemctl disable firewalld.service #关闭防火墙开机启动

Hadoop环境搭建_配置文件_28

3.打开window下的C:\Windows\System32\drivers\etc打开hosts文件,在文件末添加三行代码:

192.168.121.134 hadoop01

192.68.121.135 hadoop02

192.168.121.136 hadoop03

Hadoop环境搭建_Hadoop_29

4.通过UI界面查看Hadoop运行状态,在Windows系统下,访问http://hadoop1:50070,查看HDFS集群状态

Hadoop环境搭建_hadoop_30

5.在Windows系统下,访问http://hadoop1:8088,查看Yarn集群状态

Hadoop环境搭建_配置文件_31

标签:文件,虚拟机,环境,hadoop,Hadoop,etc,export,节点,搭建
From: https://blog.51cto.com/u_16272307/7598712

相关文章

  • Hadoop集群搭建(完全分布式)
    一,Hadoop集群简介1.1Hadoop集群整体概述Hadoop集群包括两个集群:HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群Hadoop两种集群内容:逻辑上分离,物理上合并的理解:逻辑上分离:两个集群互相之间没有依赖、互不影响物理上合并:某些......
  • 在idea的控制台使用命令报错XXX无法识别为命令或改变了环境变量后idea环境未同步更新
    报错XXX无法识别为命令是当前环境中不存在XXX配置,当前环境不是说电脑的系统环境,比如使用的idea那当前环境就是idea的配置环境:打开设置(ctrl+alt+s) 在Value中添加XXX对应的路径,记得加分号(;)。 ......
  • 08_Electron与vue环境搭建
      首先在Vscode控制台输入:npmintall-g@vue/clioryarnglobaladd@vue/cli。  然后再输入npmi-g@vue/cli-init,这时候输入vue-V来看vue是否安装成功。  安装成功后输入vueinitsimulatedgreg/electron-vueeletron-vue,如果出现:     这是网络不稳......
  • typescript: vscode 配置环境
    可以在Node.jscommandprompt下,转到项目文件,进行命令行配置  https://code.visualstudio.com/docs/typescript/typescript-tutorialnpminstall-gtypescriptnpminit-ytsc--versionnpminstalleslint--save-devnpminstalltypescripttypescript-eslint-pars......
  • Spring Boot 项目搭建
    从根本上来说,SpringBoot的项目只是普通的Spring项目,只是它们正好用到了SpringBoot的起步依赖和自动配置而已。因此,那些你早已熟悉的从头创建Spring项目的技术或工具,都能用于SpringBoot项目。然而,还是有一些简便的途径可以用来开启一个新的SpringBoot项目。最快的方法就是安装Sp......
  • 关于搭建ELK的一些问题--filebeat收集旧日志时,旧日志不全(被截断等问题)
    由于我只是简单搭建日志监测平台,logstash比较吃系统资源,我用filebeat代替了logstash日志收集的职能(也没有做日志筛选)用的是7.5.1版本 由于搭建时已经存在旧日志,在导入时出现了日志不全的问题也就是说旧日志传输到elasticsearch时被截断了。解决办法:1.检查一下filebeat.yml ......
  • 如何在本地搭建微信小程序服务器
    现在开发需要购买服务器,价格还是有点贵的,可以花费小代价就可以搭建一个服务器,可以用来开发小程序,博客等。1.域名(备案过的)2.阿里云注册免费的https证书3.配置本地的nginx4.内网映射(本地安装wampserver服务器)一、域名注册花生壳,开通内网映射需要6元里面可以注册2个免费的域......
  • Apache Hadoop开启HA
    一、修改配置文件hdfs-site.xml<configuration><!--NameNode元数据存储目录--><property><name>dfs.namenode.name.dir</name><value>"{{data_dir}}/hadoop/hdfs/namenode"</value><final>true&......
  • 集成开发环境(IDE)的用途?
    集成开发环境(IDE)是一种用于提供程序开发环境的应用程序,它集成了代码编写功能、分析功能、编译功能、调试功能等一体化的开发软件服务套。以下是IDE的一些主要用途:提供代码编写功能:IDE可以提供代码编辑器,允许开发者编写、修改和测试代码。它通常包括语法高亮、自动补全、代码片段生......
  • k8s部署开发环境
    ##k8s--关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld--关闭selinuxsetenforce0sed-i'/^SELINUX=/s/enforcing/disabled/'/etc/selinux/config--关闭swap分区swapoff-ased-i'/swap/s/^/#/'/etc/fstab--设置参数cat>/etc/sysctl.......