首页 > 其他分享 >搭建hadoop 基于yarn的集群模式

搭建hadoop 基于yarn的集群模式

时间:2024-04-06 11:35:03浏览次数:19  
标签:xml hadoop 192.168 site 集群 yarn 设置

 准备工作:三个虚拟机相同操作

1.创建三个虚拟机,参考之前的配置信息

2.设置主机名 vi /etc/hosts  加入

192.168.61.112 bigdata112

192.168.61.113 bigdata113

192.168.61.114 bigdata114

3.关闭防火墙: systemctl stop firewalld.service / systemctl disable firewalld.service

4.设置免密码登录(参照之前文章)

5.添加JAVA_HOME,

生效配置
source ~/.bash_profile

6.统一设置系统时间(不设置会导致运行出错)

这里使用xshell远程比较方便,注意设置多seasion连屏,和右键粘贴功能

 6. 在112上配置hadoop(和上篇部署hadoop原理一样)

但需要修改配置文件  /root/training/hadoop-2.7.3/etc/hadoop

hadoop-env.sh,hdfs.site.xml,core-site.xml,mapred-site.xml,yarn-site.xml,slaves

 

 hadoop-env.sh

 hdfs.site.xml

 core-site.xml

mapred-site.xml

 yarn-site.xml

 slaves

 

标签:xml,hadoop,192.168,site,集群,yarn,设置
From: https://www.cnblogs.com/charkey/p/18117261

相关文章

  • 《配置VMware固定IP》【CentOS】集群化前置准备
     前言:当前我们虚拟机的Linux操作系统,其IP地址是通过DHCP服务获取的。DHCP:动态获取IP地址,即每次重启设备后都会获取一次,可能导致IP地址频繁变更 配置固定IP需要2个大步骤:1.在VMwareWorkstation(或Fusion)中配置IP地址网关和网段(IP地址的范围)2.在Linux系统中手动修改配......
  • 【VMware vSAN】创建vSAN Max集群并配置挂载远程数据存储。
    VMwareExplore2023大会上,VMware正式发布了vSANMax,这是VMware的一种全新分解存储架构,可以为vSphere集群提供PB级分解存储。vSANMax是基于vSANExpressStorageArchitecture(ESA)架构构建的,也就是说vSANMax仅在vSAN8ESA架构中可用。vSANHCI是传统的超融合架构,该架构是把计......
  • 太强了!分布式Elasticsearch集群数据迁移企业案例
    太强了!分布式Elasticsearch集群数据迁移企业案例原创 林致远 Linux运维之旅 2024-04-0408:31 广东 1人听过Linux运维之旅专注分享运维实用技术,内容不限于Linux系统运维、自动化工具、监控工具、日志采集、容器技术、测试工具、python、GO等技术分享20篇原......
  • Linux华为云Hadoop配置环境
    手工搭建Hadoop环境(Linux)_弹性云服务器ECS_最佳实践(huaweicloud.com)https://support.huaweicloud.com/bestpractice-ecs/zh-cn_topic_0000001698668477.html?locale=zh-cn#ZH-CN_TOPIC_0000001698668477__li49001945163110跟着傻瓜式CV即可。气死我了!找了半天,最后在官网......
  • windos上安装hadoop并将文件上传至HDFS的操作
    参考1参考21.下载并安装hadoop下载解压hadoop:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/百度网盘:安装包和配置文件链接:(https://pan.baidu.com/s/1SyORDDF5hxmm5-dZPuHNhA?pwd=1234)注意:我使用的是2.7.1版本,官网的Hadoop不支持Windows系统,需要修改......
  • 搭建hadoop本地模式
    Hadoop生态圈组件:作用:离线数据存储、离线数据计算编程语言:java语言历史:基于Google的三篇论文(Google的GFS,Google的MapReduce) 步骤:1.安装VMWare,下载镜像文件 rhel-server-7.4-x86_64-dvd右键新建虚拟机   编辑虚拟机  启动虚拟机      ......
  • zookeeper监听集群节点的实现zkclient组件实现方案(Java版)
    ZooKeeperWatcher机制client向zookeeper注册监听client注册的同时会存储一个WatchManager对象向zookeeper发生改变则notificationclient并发送一个WatchManager对象,然后client再更新该对象packagecom.jacky.zk.demo;importorg.I0Itec.zkclient.IZkChildListen......
  • KingbaseES V8R6集群运维案例之---同城双中心switchover案例
    KingbaseESV8R6集群运维案例之---同城双中心switchover案例案例说明:在同城双中心执行switchover在线切换后,双中心架构保持不变。适用版本:KingbaseESV8R6集群架构:一、切换前集群节点状态如下所示,切换前集群的主库(Primary)位于同城灾备中心,现在执行switchover在线切......
  • Kubernetes(k8s):如何进行 Kubernetes 集群健康检查?
    Kubernetes(k8s):如何进行Kubernetes集群健康检查?)一、节点健康检查1、使用kubectl查看节点状态2、查看节点详细信息3、检查节点资源使用情况2、Pod健康检查2.1、使用kubectl查看Pod状态2.2、查看特定Pod的详细信息,包括事件和条件3、服务健康检查3.1、使用ku......
  • 重庆天翼云代理商:分布式容器云平台面向多云、多集群等场景推出的企业级容器云平台
    重庆天翼云代理商:分布式容器云平台面向多云、多集群等场景推出的企业级容器云平台简介:飞机@luotuoemo本文由(天翼云代理商:【金推云】www.jintui.cn)撰写重庆天翼云代理商:分布式容器云平台在当今的信息化社会,一种名为“云计算”的技术正在逐渐改变我们生活和工作的方式。云......