首页 > 其他分享 >MapReduce配置和YARN部署命令

MapReduce配置和YARN部署命令

时间：2024-03-15 14:02:23浏览次数：14  
标签：部署 MapReduce yarn hadoop start YARN HOME HADOOP

部署说明

  • Hadoop HDFS分布式文件系统，我们会启动：
    • NameNode进程作为管理节点
    • DataNode进程作为工作节点
    • SecondaryNamenode作为辅助
  • 同理，Hadoop YARN分布式资源调度，会启动：
    • ResourceManager进程作为管理节点
    • NodeManager进程作为工作节点
    • ProxyServer、JobHistoryServer这两个辅助节点
  • 那么，MapReduce呢？
    MapReduce运行在YARN容器内，无需启动独立进程

所以关于MapReduce和YARN的部署，其实就是2件事情：

  • 关于MapReduce： 修改相关配置文件，但是没有进程可以启动
  • 关于YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）
    在这里插入图片描述
    有3台服务器，其中node1配置较高
    集群规划如下：
主机角色
node1 ResourceManager、NodeManager、ProxyServer、JobHistoryServer
node2 NodeManager
node3 NodeManager

MapReduce配置文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：

  • mapred-env.sh文件
su - hadoop
  • 1
cd /export/server/hadoop/etc/hadoop/
  • 1
vim mapred-env.sh
  • 1

在顶部添加以下内容

export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
  • 1
  • 2
  • 3

设置JDK路径
设置JobHistoryServer进程内存为1G
设置日志级别为INFO

  • mapred-site.xml文件
vim mapred-site.xml
  • 1

在<configuration></configuration>之间添加以下内容

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<discription>MapReduce的运行框架运行为YARN</discription>
</property>

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node1:10020</value>
	<discription>历史服务器通讯端口为node1:10020</discription>
</property>

<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node1:19888</value>
	<discription>历史服务器端口为node1的19888</discription>
</property>

<property>
	<name>mapreduce.jobhistory.intermediate-done-dir</name>
	<value>/data/mr-history/tmp</value>
	<discription>历史信息在HDFS的记录临时路径</discription>
</property>

<property>
	<name>mapreduce.jobhistory.done-dir</name>
	<value>/data/mr-history/done</value>
	<discription>历史信息在HDFS的记录路径</discription>
</property>

<property>
	<name>yarn.app.mapreduce.am.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>

<property>
	<name>mapreduce.map.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>

<property>
	<name>mapreduce.reduce.env</name>
	<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	<discription>MapRedece HOME设置为HADOOP_HOME</discription>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47

YARN配置文件

vim yarn-env.sh
  • 1

在顶部添加以下内容

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
  • 1
  • 2
  • 3
  • 4

设置JDK路径的环境变量
设置HADOOP_HOME的环境变量
设置配置文件路径的环境变量
设置日志文件路径的环境变量

vim yarn-site.xml
  • 1

在<configuration></configuration>之间添加以下内容

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
	<discription>ResourceManager设置在node1节点</discription>
</property>

<property>
	<name>yarn.nodemanager.local-dirs</name>
	<value>/data/nm-local</value>
	<discription>NodeManager中间数据本地存储路径</discription>
</property>

<property>
	<name>yarn.nodemanager.log-dirs</name>
	<value>/data/nm-log</value>
	<discription>NodeManager数据日志本地存储路径</discription>
</property>

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	<discription>为MapReduce程序开启Shuffle服务</discription>
</property>

<property>
	<name>yarn.log.server.url</name>
	<value>http://node1:19888/jobhistory/logs</value>
	<discription>历史服务器URL</discription>
</property>

<property>
	<name>yarn.web-proxy.address</name>
	<value>node1:8089</value>
	<discription>代理服务器主机和端口</discription>
</property>

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
	<discription>开启日志聚合</discription>
</property>

<property>
	<name>yarn.nodemanager.remote-app-log-dir</name>
	<value>/tmp/logs</value>
	<discription>程序日志HDFS的存储路径</discription>
</property>

<property>
	<name>yarn.resourcemanager.scheduler.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
	<discription>选择公平调度器</discription>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53

分发配置文件

把配置好的文件分发到其他服务器节点中

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
  • 1
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/
  • 1

集群启动命令

常用的进程启动命令如下：

  • 一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh
    • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
    • 会基于workers文件配置的主机启动NodeManager
  • 一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh
  • 在当前机器，单独启动或停止进程
    • $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
    • start和stop决定启动和停止
    • 可控制resourcemanager、nodemanager、proxyserver三种进程
  • 历史服务器启动和停止
    • $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

开始启动YARN集群

在node1服务器，以hadoop用户执行

start-dfs.sh
  • 1
start-yarn.sh
  • 1
jps
  • 1
mapred --daemon start historyserver
  • 1

日志文件在/export/server/hadoop/logs，出问题可以查看日志来排查问题。

在这里插入图片描述

查看YARN的WEB UI页面

打开 http://node1:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）
在这里插入图片描述

保存快照

三个服务器都关机退出保存快照

su -
  • 1
init 0
  • 1

刚刚部署好YARN集群
在这里插入图片描述

YARN集群的启停命令

一键启动脚本

启动：
$HADOOP_HOME/sbin/start-yarn.sh

从yarn-site.xml中读取配置，确定ResourceManager所在机器，并启动它。
读取workers文件，确定机器，启动全部的NodeManager。
在当前机器启动ProxyServer（代理服务器）。

关闭：
$HADOOP_HOME/sbin/stop-yarn.sh

start-yarn.sh
  • 1
jps
  • 1
stop-yarn.sh
  • 1

单进程启停

除了一键启停外，也可以单独控制进程的启停。

$HADOOP_HOME/bin/yarn，此程序也可以用以单独控制所在机器的进程的启停
用法：yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)

yarn --daemon start resourcemanager
  • 1
yarn --daemon stop resourcemanager
  • 1
yarn --daemon start nodemanager
  • 1
yarn --daemon stop nodemanager
  • 1
yarn --daemon start proxyserver
  • 1
yarn --daemon stop proxyserver
  • 1

$HADOOP_HOME/bin/mapred，此程序也可以用以单独控制所在机器的历史服务器的启停
用法：mapred --daemon (start|stop) historyserver

mapred --daemon stop historyserver
  • 1
mapred --daemon start historyserver
  • 1

提交MapReduce任务到YARN执行

YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：MapReduce程序、Spark程序、Flink程序

Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。

常用的有2个MapReduce内置程序：

  • wordcount：单词计数程序。
    统计指定文件内各个单词出现的次数
  • pi：求圆周率
    通过蒙特卡罗算法（统计模拟法）求圆周率

这些内置的示例MapReduce程序代码，都在：
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。

cd /export/server/hadoop/share/hadoop/mapreduce/
  • 1
ll
  • 1
cd
  • 1

在这里插入图片描述

可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

语法： hadoop jar 程序文件 java类名 [程序参数] … [程序参数]

提交wordcount示例程序

单词计数示例程序的功能很简单：

  • 给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
  • 将输入路径内的数据中的单词进行计数，将结果写到输出路径

我们可以准备一份数据文件，并上传到HDFS中。

hadoop it bigdata hello world
hello bigdata hdfs
it is hadoop hdfs
hdfs mapreduce yarn
hadoop yarn
  • 1
  • 2
  • 3
  • 4
  • 5

将上面内容保存到Linux中为words.txt文件，并上传到HDFS

start-dfs.sh
  • 1
vim words.txt
  • 1
hadoop fs -mkdir -p /input
  • 1
hadoop fs -mkdir /output
  • 1
hadoop fs -ls /
  • 1
hadoop fs -put words.txt /input/
  • 1
hadoop fs -ls /input/
  • 1

在这里插入图片描述

执行如下命令，提交示例MapReduce程序WordCount到YARN中执行

start-yarn.sh
  • 1
mapred --daemon start historyserver
  • 1
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc
  • 1

注意：
参数wordcount，表示运行jar包中的单词计数程序（Java Class）
参数1是数据输入路径（hdfs://node1:8020/input/wordcount/)
参数2是结果输出路径(hdfs://node1:8020/output/wc)， 需要确保输出的文件夹不存在

提交程序后，可以在YARN的WEB UI页面看到运行中的程序（http://node1:8088/cluster/apps)

在这里插入图片描述

执行完成后，可以查看HDFS上的输出结果

hadoop fs -ls /output/wc
  • 1
hadoop fs -cat /output/wc/*
  • 1

在这里插入图片描述

  • _SUCCESS文件是标记文件，表示运行成功，本身是空文件
  • part-r-00000，是结果文件，结果存储在以part开头的文件中

执行完成后，可以借助历史服务器查看到程序的历史运行信息

ps：如果没有启动历史服务器和代理服务器，此操作无法完成（页面信息由历史服务器提供，鼠标点击跳转到新网页功能由代理服务器提供）

查看运行日志

点击logs链接，可以查看到详细的运行日志信息。
此功能基于：

  1. 配置文件中配置了日志聚合功能，并设置了历史服务器
  • 1
  1. 启动了代理服务器和历史服务器
  2. 历史服务器进程会将日志收集整理，形成可以查看的网页内容供我们查看。

所以，如果发现无法查看程序运行历史以及无法查看程序运行日志信息，请检查上述1、2、3是否都正确设置。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提交求圆周率示例程序

可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000
  • 1

参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
参数3，表示设置几个map任务
参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

（样本1000太小，不够精准）
在这里插入图片描述

标签：部署,MapReduce,yarn,hadoop,start,YARN,HOME,HADOOP
From： https://www.cnblogs.com/ueme/p/18075250

相关文章

  • 在Windows电脑上本地部署Llama2大型语言模型
    在Windows电脑上本地部署Llama2大型语言模型需要一系列具体的步骤。下面，我将详细指导你完成这个过程，并附上相关链接和具体的输入代码或命令行。一、准备环境安装Python：首先，确保你的Windows电脑上已经安装了Python。你可以从Python的官方网站（https://www.python.org/downl......
  • ubuntu server安装机房环境以及摄像头部署
    PS:客户安装环境是ubuntu的16.04.5LTS,一般客户都是centos7左右,所以单独写一篇文章本文所需的账号也是root,切换root账号是su需要所需附件的可以打赏后联系我查看ubuntu的版本传输文件到把文件传到/home/sk下安装node:cd/home/sk/tooltar-xvfnode-v8.11.3-lin......
  • Gitlab+Jenkins+Docker+Harbor+K8s集群搭建CICD平台(持续集成部署Hexo博客Demo)
    目录涉及内容:一、CICD服务器环境搭建1、docker环境安装（1）、拉取镜像，启动并设置开机自启（2）、配置docker加速器2、安装并配置GitLab（1）、创建共享卷目录（2）、创建gitlab容器(3)、关闭容器修改配置文件（4）、修改完配置文件之后。直接启动容器（5）、相关的git命令（针对已存在的文件夹）3、安装配......
  • YOLOV5 部署：基于web网页的目标检测（本地、云端均可）
    1、前言YOLOV5推理的代码很复杂，大多数都是要通过命令行传入参数进行推理，不仅麻烦而且小白不便使用。  本章介绍的web推理，仅仅需要十几行代码就能实现本地推理，并且只需要更改单个参数就可以很方便的部署云端，外网也可以随时的使用之前文章介绍了QT的可视化推理界面，参考：YOL......
  • 团购小程序源码系统：快递代收+社区便利店+推送商品等功能 带完整的安装部署教程
    在移动互联网高速发展的今天，小程序以其轻便、快捷、无需下载的特点，迅速成为商家与用户之间的桥梁。为了满足社区团购市场的需求，小编给大家分享一款功能强大的团购小程序源码系统，该系统集成了快递代收、社区便利店、推送商品等多项功能，为商家提供了一个高效、便捷的运营平台。......
  • 使用Nginx将大模型Web应用部署到公网
    使用Nginx将大模型Web应用部署到公网大模型训练完毕后，我们可以用SWIFT快速构建一个WebDemo大模型Web应用，本文将介绍如何使用Nginx将大模型Web应用部署到公网。在进行后续步骤之前，先按照搭建一个大模型API服务中的方法安装好SWIFT框架，并激活到你的conda环境。启动大模型Web应用......
  • 4款支持本地化部署的国产办公软件，打造安全高效的内部办公环境
    在数字化快速发展的今天，办公软件已经成为企业日常运营中不可或缺的一部分。为了保障数据安全和提升办公效率，越来越多的企业开始选择支持本地化部署的国产办公软件。今天给大家分享4款支持本地化部署的国产办公软件，它们能够为企业打造安全高效的内部办公环境。 永中文档 永中......
  • 二进制部署 Prometheus+Alertmanager+Grafana
    从官网手动安装Prometheus采集、存储数据Grafana用于图表展示alertmanager用于接收Prometheus发送的告警信息node-exporter用于收集操作系统和硬件信息的metrics二进制部署#切换到root用户sudo-i#创建一个专门的prometheus用户：useradd-M-s/usr/sbin/nologi......
  • 基于微信小程序的公交信息在线查询系统小程序设计与实现(源码+lw+部署文档+讲解等)
    文章目录前言项目运行截图技术框架后端采用SpringBoot框架前端框架Vue可行性分析系统测试系统测试的目的系统功能测试数据库表设计代码参考数据库脚本为什么选择我？获取源码前言......
  • 小米便签AS部署之Git的基本使用
    1项目测试截图及仓库地址https://gitee.com/magicfatblink/Notes-master2小米便签代码的移植2.1IDE的准备2.1.1AS版本选择由于小米便签是一个很老的项目，距最后一次提交已经有13年的历史了当时Android主流开发软件还是eclipse，本项目原始代码也是基于eclipse运行的，所......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99