首页 > 系统相关 >vmware三台centos虚拟机部署hadoop-3.2.4

vmware三台centos虚拟机部署hadoop-3.2.4

时间:2024-02-22 19:03:54浏览次数:44  
标签:centos 配置文件 三台 虚拟机 hadoop 主机名 ssh

是在已经安装VMware和三台centos虚拟机的基础上进行的。
1.进入root用户 命令:su -,更新所有包 命令sudo yum update
2.删除已有jdk,安装Java 命令sudo yum install java-1.8.0-openjdk-devel
3.修改主机名,在/etc/hosts 文件中添加三台主机的IP地址和主机名的映射,可以用ping -c5 [主机名]验证是否正确,-c5表示发送5次包
4.设置ssh免密登录,首先查看三台主机是否开启ssh服务,命令systemctl status sshd;打开ssh服务后,对master主机生成密钥,命令ssh-keygen;查看~/.ssh目录可看到id_rsa 和id_rsa.pub两个文件,第一个是私钥,第二个是公钥,将公钥复制,命令cp id_rsa.pub authorized_keys;将复制后的authorized_keys发送到两个slaver主机,命令scp /etc/hosts 目的机用户名@目的机名称:~/.ssh,如果两台slaver主机没有.ssh目录,可以使用ssh连接一次,或者运行ssh-keygen命令生成密钥,就会出现.ssh目录。发送成功后运行ssh [主机名]即可登录目的主机,退出登录exit。如果运行hostnamectl发现当前主机名是hostlocal.hostadmin,可以提前修改主机名,命令hostnamectl set-hostname [想要的主机名],这部分本应该在第三步实现,但是在第四步实现并不影响效果。
5.下载所需版本的hadoop binary压缩文件,通过xftp传输到centos主机,使用命令tar -zxvf hadoop-3.2.4.tar.gz解压。以3.2.4版本举例。可以指定解压位置,不指定就解压到当前文件夹,解压完成后可以把压缩包文件删除,方便使用自动填充。

修改配置文件

6.之后cd hadoop-3.2.4/etc/hadoop编辑hadoop-env.sh文件,文末添加JAVA_HOME路径为当前jdk路径,查看jdk路径可以使用命令sudo alternatives -display java。编辑/etc/profile文件,在文末添加
export HADOOP_HOME=/opt/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
执行命令source /etc/profile使配置文件生效,执行echo $HADOOP_HOME输出hadoop安装路径可以验证配置文件是否生效。
7.修改core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,works文件(三台虚拟机上的配置文件完全一样,后面两台可以直接发送hadoop配置文件)。
8.只在第一台格式化hdfs,执行hdfs namenode -format
9.启动hadoop,只在第一台执行start-all.sh
10.分别在三台虚拟机查看进程,执行jps,服务启动成功则可以运行。
11.打开hadoopwebUI,用管理员打开hosts文件,添加三台虚拟机的映射关系。访问webUI,在浏览器输入http://hadoop00:9870,即可进入UI界面。如若没能打开,查看当前hadoop00防火墙状态,执行service firewalld status,关闭防火墙,执行systemctl stop firewalld.service,注意只在第一台关闭即可。

至此,hadoop集群安装成功,最困难的地方在于配置文件的修改,没有对文件内容有很好的理解,需要有耐心。
下面是非常有参考意义的技术博客,感谢各位作者!

【参考链接】
安装过程https://blog.csdn.net/weixin_44898710/article/details/109832031
ssh免密登录原理与详解https://www.cnblogs.com/luckyall/p/10368152.html
安装jdkhttps://blog.csdn.net/weixin_46560589/article/details/124815881
配置文件https://blog.csdn.net/weixin_46560589/article/details/132604226

标签:centos,配置文件,三台,虚拟机,hadoop,主机名,ssh
From: https://www.cnblogs.com/ducn/p/18001762

相关文章

  • Centos7 下载|安装|配置|卸载 Docker
    Centos7下载|安装|配置|卸载DockerDocker官网:http://www.docker.comDockerHub仓库官网:https://hub.docker.com/一.环境要求1.CentOSDocker支持以下版本CentOS7(64-bit)CentOS6.5(64-bit)或更高的版本2.前提条件CentOS仅发行版本中的内核支持Docker......
  • Java虚拟机小记
    目录运行时数据区域Java堆对象创建对象的内存布局对象的访问定位句柄直接指针GC判断对象是否已死引用计数算法可达性分析算法引用的类别垃圾收集算法分代收集理论标记清除算法标记复制算法标记整理算法实现细节并发的可达性分析垃圾收集器serial收集器ParNew收集器ParallelScaven......
  • 如何使用ssh连接VMWare中的虚拟机
    一、VMWare虚拟机的三种接入模式VMware提供的三种网络模式分别为:桥接模式(Bridge):在这种模式下,虚拟机通过连接到虚拟机交换机,利用虚拟网桥将虚拟机的网络连接到主机的网卡。这种模式下,虚拟机拥有独立的IP地址,并且可以在内部网络中与其他主机进行互相访问。此外,虚拟机也可以......
  • 通过虚拟机镜像部署zabbix
    前言由于基础镜像的缘故,zabbix部署过程中很可能出现各种缺少依赖包的情况,如果环境中又无法连接互联网,系统部署会非常麻烦。为此zabbix官方提供了虚拟机镜像,导入后可以直接在平台上拉起虚拟机,非常简单,几分钟即可启动一套zabbix系统。本文摘要自官网手册1启动虚机以zabbix6.0......
  • 阿里云虚拟机以及go2aliyun后的优化
    阿里云虚拟机以及go2aliyun后的优化背景最近公司内开始使用阿里云作为一些验证环境因为阿里云上面的系统类型有限很多兼容性的系统无法通过模板创建出来所以前几天使用了go2aliyun的方式搭建虚拟机进行兼容性的验证。使用过程中发现一些问题,这里总结一下。ssh链接总断......
  • CentOS8-pacemaker+corosync高可用部署
    部署pacemakeryuminstallpacemakerpcscorosyncfence-agentsresource-agents启动pcs服务systemctlenablepcsdsystemctlstart pcsd修改集群管理员hacluster(默认生成)密码echoxmcloud_pass |passwd--stdinhaclusterxmcmp01节点,认证配置pcshostauthxmcmp0......
  • centos服务器中病毒dealer sshc dudu
    参考:http://www.ityunxiu.com/news/industry/26.html1问题这几天服务器一直出问题执行命令:top突然发现系统上多了一个不知道是什么的服务,占用大量的cpu 2查找及解决2.1执行ps-ef发现是这个进程,不知道哪里来的,应该是病毒了 2.2执行命令cronta......
  • CentOS在无网络环境下,用离线源yum安装软件
    先说大致步骤:1、前提假设:当前无网络的目标服务器是A,我们需要先准备一台服务器B;2、在B上面用yum先把软件安装完成。3、然后用createrepo将B中的包拷贝出来,并传到A上(用U盘或者内网SSH等方法都行);4、修改A上的yum源为刚刚拷过来的本地文件;5、在A上就可以安装了。 以安装nginx......
  • VMware vsphere 8 虚拟机安装Truenas core 13运行内存占满报警
    使用过Truenas的朋友都知道,在共享运行了一段时间之后,由于Truenas的内存缓存机制,导致系统显示Truenas虚拟机内存已用满,然后报警。首先可以确定,在Truenas系统中,系统内存缓存满并没有任何问题,但是在VMware的管理中并不了解Truenas的运行机制,这里的报警是一定要解决的,现在思路有两条......
  • 在 CentOS7 部署 ELK8.0
    1、环境准备:关闭防火墙与selinuxsetenforce0#临时关闭SELinuxsed-i 's/SELINUX=enforcing/SELINUX=disabled/g'/etc/selinux/config #永久关闭SELnux(重启生效)2、修改Linux最大打开文件数cat/etc/security/limits.conf|grep-v"^#"|grep-v"^$"*......