首页 > 其他分享 >hadoop优化部分参数

hadoop优化部分参数

时间:2023-06-14 16:00:49浏览次数:42  
标签:xml resource mb hadoop yarn mapreduce 参数 scheduler 优化

yarn-site.xml:

表示该节点服务器上yarn可以使用的虚拟CPU个数,默认是8,推荐将值配置与物理核心个数相同

yarn.nodemanager.resource.cpu-vcores: 24

设置该节点上yarn可使用的内存,默认为8G,如果节点内存资源不足8G,要减少这个值,yarn不会智能的去检测内存资源,一般这个设置yarn的可用内存资源

yarn.nodemanager.resource.memory-mb: 51412

yarn.scheduler.increment-allocation-mb: 512
yarn.app.mapreduce.am.command-opts: -Xmx819m
yarn.scheduler.minimum-allocation-mb: 512

单任务最小内存

如果设置成2G,那50/2 = 25,就是最多可以跑25个container

如果设置成3G,那50/3 = 16,就是最多可以跑16个container

yarn.app.mapreduce.am.resource.mb: 1024
hdfs-site.xml:
dfs.namenode.handler.count: 14
mapred-site.xml:
mapreduce.task.io.sort.mb: 409
mapreduce.map.memory.mb: 1024
mapreduce.reduce.memory.mb: 1024
mapreduce.map.java.opts: -Xmx819m
mapreduce.reduce.java.opts: -Xmx819m
capacity-scheduler.xml
yarn.scheduler.capacity.maximum-am-resource-percent: 0.8

标签:xml,resource,mb,hadoop,yarn,mapreduce,参数,scheduler,优化
From: https://www.cnblogs.com/wes1502/p/17480517.html

相关文章

  • hadoop状态和任务监控
    #-*-coding:UTF-8-*-importmysql.connectorimportsysimportdatetimeimportimportlibimportrequestsimportlib.reload(sys)#修改hadoop地址参数为实际地址env_code='生产环境http://172.16.159.75:18888/'hadoop_code='生产环境hadoophttp://172.16.159.75......
  • 腾讯云低延时直播系统架构设计与弱网优化实践
    “直播带货”可能是2020年最具代表性的词汇之一,那么传统电商该如何融合直播系统,直播过程如何保障用户的最佳观看体验?本文由腾讯云资深架构师何书照在LiveVideoStack线上分享中的内容整理而成,详解了大规模、低延时电商直播系统架构设计以及电商直播的难点、技术挑战与突破。 文/......
  • 海外弱网下的在线视频平台优化实践​
    正文字数:10745 阅读时长:16分钟在弱网下,视频启动时间和播放卡顿都会增加。为提升弱网用户体验,需要识别出主要问题再针对性调优。本演讲将结合四达时代在非洲建设”StarTimesOn在线视频平台“过程中积累的丰富数据,分享传输路由优化和传输协议优化相关的关键问题,以及各类针对性调优......
  • Vue3中循环任务优化方案
    需求在使用循环任务时,往往需要使用到setInterval方法。其接受三个参数,分别是1.具体执行的函数2.执行时间间隔3.传递个函数的参数,并返回一个id,后续可以使用这个id来停止循环的执行。具体的使用可以查阅MDN。在实际开发中,很容易重复创建相同的interval实例,进行反复的执行,并且在......
  • 用Elevator优化AV1视频播放
    AOM会员Vimeo通过Elevator改善AV1解码过程中的丢帧和质量下降问题。感谢Google软件工程师姜健对本文做的技术审校。文/RaphaëlZumer译/刘俊技术审校/姜健https://medium.com/vimeo-engineering-blog/enhancing-av1-playback-with-elevator-6a2991c1aac0作为AV1编码标准的早......
  • 压测: wrk压测的lua脚本使用随机列表与字符串参数
    ......
  • 获取地址栏的参数
    leturl=window.location.hrefletfun=getUrlParams(url)if(fun.token){setToken(fun.token);if(url){constparamsStr=url.split('?')[1]localStorage.setItem('userName',paramsStr.split("......
  • 深度学习应用篇-元学习[14]:基于优化的元学习-MAML模型、LEO模型、Reptile模型
    深度学习应用篇-元学习[14]:基于优化的元学习-MAML模型、LEO模型、Reptile模型1.Model-AgnosticMeta-LearningModel-AgnosticMeta-Learning(MAML):与模型无关的元学习,可兼容于任何一种采用梯度下降算法的模型。MAML通过少量的数据寻找一个合适的初始值范围,从而改变梯度下降......
  • PyCharm 优化
    1.汉化File->Settings->Plugins(插件)在搜索栏中输入Chinese(Simplified)下载中文插件并安装重启PyCharm即出现汉化 ......
  • java实现C语言编译器:实现有参数的函数调用
    上一节,我们实现了没有参数传递的函数调用,本节,我们看看如何实现有参数传递的函数调用。有参数的函数调用要比无参数的函数调用复杂的多,一个难题在于,我们需要确定参数变量的作用域,例如下面的代码:inta;voidf(inta,intb){intc;c=a+b;}在代码里,有两个同名变量都......