首页 > 其他分享 >Hadoop伪分布式安装

Hadoop伪分布式安装

时间:2023-06-01 22:01:15浏览次数:43  
标签:Hadoop hadoop yarn 主机名 sh vim 安装 分布式

Hadoop伪分布式安装

安装环境:Centos7.5,只少2核4G

提前准备:Linux中要安装JDK8,Zookeeper-3.5.7

1. 关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

2. 修改主机名

Hadoop集群中,主机名中尽量不要出现-或者_

vim /etc/hostname

将原来的主机名删除,添加自己指定的主机名

3. 需要将主机名和IP进行映射

vim /etc/hosts

进入文件之后,除了127.0.0.1以及::1这开头的两行以外,其余的行全部删除

之后添加当前主机的IP 主机名,例如

10.10.153.69 hadoop01

4. 关闭SELINUX

vim /etc/selinux/config

将SELINUX属性的值改为disabled

5. 重启

reboot

6. 配置免密登录

ssh-keygen(回车之后,再根据三次提示直接按三次回车键)

ssh-copy-id主机名(回车之后,输入一次yes,然后在输入一次密码)

测试是否免密成功:ssh hadoop01

如果不需要密码,那么说明免密成功,那么输入logout

7. 上传或者下载hadoop

进入/home/software目录,来上传或者下载Hadoop。

cd /home/software/

8. 解压Hadoop安装包

tar -xvf hadoop-3.1.3.tar.gz

9. 进入Hadoop的配置文件目录

cd hadoop-3.1.3/etc/hadoop/

10. 编辑文件

vim hadoop-env.sh

在文件中添加JAVA_HOME,值是JDK的安装路径

export JAVA_HOME=/home/software/jdk1.8

保存退出,重新生效这个文件

source hadoop-env.sh

11. 编辑文件

vim core-site.xml

添加内容

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/software/hadoop-3.1.3/tmp</value>

</property>

12. 编辑文件

vim hdfs-site.xml

添加内容

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

13. 编辑文件

vim mapred-site.xml

添加内容

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

14. 编辑文件

vim yarn-site.xml

添加内容

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

15. 编辑文件

vim workers ------- 注意,如果是在Hadoop2.X,那么这个文件是slaves

将原来的localhost删除掉,然后添加当前主机的主机名

16. 配置环境变量

vim /etc/profile

在文件末尾添加

export HADOOP_HOME=/home/software/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出,重新生效这个文件

source /etc/profile

通过hadoop version命令来确定配置是否有效

17. 第一次启动Hadoop之前,需要先进行一次格式化

hadoop namenode -format

如果出现了Storage directory /home/software/hadoop-3.1.3/tmp/dfs/name has been successfully formatted.表示格式化成功

18. 进入Hadoop安装目录的子目录sbin下

cd /home/software/hadoop-3.1.3/sbin/

19. 编辑文件

vim start-dfs.sh

在文件头部添加

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

20. 启动HDFS

start-dfs.sh

21. 通过jps查看,会发现三个进程

NameNode

DataNode

SecondaryNameNode

22. 编辑文件

vim start-yarn.sh

在文件头部添加

YARN_RESOURCEMANAGER_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

YARN_NODEMANAGER_USER=root

23. 启动YARN

start-yarn.sh

24. 通过jps查看,会发现多出来两个进程

ResourceManager

NodeManager

25. 在第一次关闭Hadoop之前,同样修改stop-dfs.sh以及stop-yarn.sh

  1. stop-dfs.sh的修改内容同第19条。
  2. stop-yarn.sh的修改内容同第22条。
  3. 之后,再次启动Hadoop,那么可以使用start-all.sh。如果单独启动HDFS,那么使用start-dfs.sh;如果单独启动YAR,那么使用start-yarn.sh。如果要关闭,将start命令改成stop命令即可


26. 可能出现的问题的解决方案

1. 如果出现了Name or Service not known或者是UnknownHost之类的问题,那么检查hosts文件是否配置正确,或者是主机名是否写对

2. 如果出现了commandc not found,那么检查环境变量是否正确,或者修改完环境变量之后是否进行了source


查看namenode节点状态

hdfs haadmin -getServiceState nn1

标签:Hadoop,hadoop,yarn,主机名,sh,vim,安装,分布式
From: https://blog.51cto.com/u_15964895/6398395

相关文章

  • Hadoop伪分布式安装
    Hadoop伪分布式安装安装环境:Centos7.5,只少2核4G提前准备:Linux中要安装JDK8,Zookeeper-3.5.71.关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld2.修改主机名Hadoop集群中,主机名中尽量不要出现-或者_vim/etc/hostname将原来的主机名删除,添加自己指定的主机名3......
  • Hadoop伪分布式安装
    Hadoop伪分布式安装安装环境:Centos7.5,只少2核4G提前准备:Linux中要安装JDK8,Zookeeper-3.5.71.关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld2.修改主机名Hadoop集群中,主机名中尽量不要出现-或者_vim/etc/hostname将原来的主机名删除,添加自己指定的主机名3.需......
  • Multisim14.0软件安装教程Multisim14.0软件安装包下载
    [名称]:Multisim14.0[大小]:685.23MB[语言]:中/英文 [适用系统]:win7,win8,win10,win11[简介]:Multisim是一款以win系统为基础的电路仿真工具,该软件功能非常强大,具有丰富的仿真分析能力,可以有效帮助用户完成实验工作,是一款非常不错的电路图设计软件。[64位下载地址]:https://pan.baidu.c......
  • TIA Portal v17安装教程西门子博途软件安装包下载
    [名称]:TIAPortalv17[大小]:11.82G [语言]:简体中文 [适用系统]:win10,win11 64位系统[简介]:TIA博途是全集成自动化软件TIAportal的简称,是一款全集成自动化软件。它是业内首个采用统一的工程组态和软件项目环境的自动化软件,几乎适用于所有自动化任务。借助该全新的工程技术软件......
  • Hazelcast分布式计算的demo
    下面是一个使用Java实现的Hazelcast分布式计算的示例代码:importcom.hazelcast.core.Hazelcast;importcom.hazelcast.core.HazelcastInstance;importcom.hazelcast.core.IExecutorService;importcom.hazelcast.core.Member;importjava.io.Serializable;importjava.util......
  • 银河麒麟v10操作系统之nginx 安装&部署
    yum-yinstallgccpcrepcre-develzlibzlib-developensslopenssl-devel安装的插件的作用1.gcc可以编译C,C++,Ada,ObjectC和Java等语言(安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境)2.pcrepcre-develpcre是一个perl库,包括perl兼容的正则表达......
  • docker安装FTP
    1.拉取镜像dockerpullfauria/vsftpd2.创建容器并运行dockerrun-d-v<本机挂载目录>:/home/vsftpd\-p20:20\-p21:21\-p21100-21110:21100-21110\-eFTP_USER=<登录名>\-eFTP_PASS=<登录密码>\-ePASV_ADDRESS=<ipaddressofyourserver>\-e......
  • Linux如何查看JDK的安装路径
    whichjava首先要申明一下whichjava是定位不到安装路径的。whichjava定位到的是java程序的执行路径。[root@localhost~]#whichjava/usr/bin/java[root@localhost~]#ls-lrt/usr/bin/javalrwxrwxrwx.1rootroot22Aug1715:12/usr/bin/java->/etc/alternatives......
  • 服务器并发量的简单计算以及简单的分布式解决方案
      上课画的图,感觉不错......
  • IDEA 2020.1官网汉化插件安装
    idea终于更新了2020.1版本(推荐使用2020的版本),新增了好多的特性,官方也终于支持了中文语言包,但是有些兄弟下载后在插件市场无法找到官方的汉化包等问题,请安装下面操作即可:1、去IDEA插件中心(https://plugins.jetbrains.com/idea)搜索Chinese(Simplified)LanguagePackEAP2、点进......