首页 > 其他分享 >hadoop优化之yarn调优

hadoop优化之yarn调优

时间:2023-12-05 17:47:03浏览次数:37  
标签:hadoop 默认 任务 调优 yarn nodemanager 物理 内存

yarn.nodemanager.resource.memory-mb(重点)

表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。
假如服务器内存64G,设置32G。


yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。


yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。


yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。


yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量,默认是1024(MB),如果一个任务申请的物理内存量少于该值,则该对应的值改为这个数。


yarn.scheduler.maximum-allocation-mb(重点)
单个任务可申请的最多物理内存量,默认是8192(MB)。
假如服务器内存64G,设置16G。

标签:hadoop,默认,任务,调优,yarn,nodemanager,物理,内存
From: https://www.cnblogs.com/chong-zuo3322/p/17877771.html

相关文章

  • 亿级访问高并发下如何进行估算和调优
    Java全能学习+面试指南:https://javaxiaobear.cn这篇主要讲解如何在大流量高并发场景下进行估算和调优。我们知道,垃圾回收器一般使用默认参数,就可以比较好的运行。但如果用错了某些参数,那么后果可能会比较严重,我不只一次看到有同学想要验证某个刚刚学到的优化参数,结果引起了线上G......
  • start-dfs.sh启动hadoop,jps没显示
    查看当前系统的名称[root@masterdfs]#cat/etc/hosts192.168.128.78hadoop01查看core-site.xml<property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property>删除文件夹#先停止ha......
  • 关于hadoop hive中使用hive分区功能
    很多人习惯了使用第三方的工具去连接hive或者hbase数据库,并且使用其中的sql编辑器进行失去了语句的使用来进行数据的分析等一系列的操作,但是一些shell命令也可以在其中运行例如:1. sethive.exec.dynamic.partition=true;2. sethive.exec.dynamic.partition.mode=nonstr......
  • 七、Hadoop优化
    优化1:Combiner使用之前  使用之后  减少的了reduce从map拉取数据的过程,提高计算效率。hadoop的计算特点:将计算任务向数据靠拢,而不是将数据向计算靠拢。特点:数据本地化,减少网络io。首先需要知道,hadoop数据本地化是指的map任务,reduce任务并不具备数据本地化特征。......
  • 小程序性能优化:深入探讨启动耗时的调优策略
    在移动应用开发中,用户对于程序启动速度的要求越来越高。在小程序开发中,启动耗时是一个关键指标,直接影响用户体验。本文将深入探讨小程序启动耗时的优化方法,并提供详细的代码演示,以帮助开发者提高小程序的性能。1.启动耗时的定义启动耗时是指从用户点击小程序图标到小程序完全加载......
  • centos7.5 hadoop NAT 静态IP网络环境搭建
    1设置VMware网络环境1.选择VMNet8并将子网IP修改为192.168.10.0,保证集群ip都在这个网段下2.选择NAT设置,配置NAT的网关为192.168.10.22设置windows11网络环境1.打开控制面板\网络和Internet\网络连接,选择VMnet8,右键选择属性2.双击Internet协议版......
  • yarn常用命令
    yarnadd命令被用于安装新的依赖包到项目中。下面是一些常用的具体用法:yarnadd[package]:安装一个包和它所依赖的包。yarnadd[package]@[version]:以指定的版本安装包。yarnadd[package]-D或yarnadd[package]--dev:将包添加为开发依赖。yarnadd[package]-P或yarna......
  • Hadoop集群部署后相关WEB界面打不开大概原因
    集群部署完毕后,查看相关WEB界面,打不开的原因可能如下:1、可以先去检查LINUX(CentOS7)机器的防火墙是否关闭,命令如下:systemctlstatusfirewalld.service(查看防火墙状态)(如果显示为关闭状态,则进行下一步;如果显示尚未关闭,则进行关闭并设定开机如下所示)systemctlstopfirewalld......
  • Hadoop 一些脚本总结
    1.各个模板分开启动/停止1.整体启动/停止HDFSstart-dfs.sh/stop-dfs.sh2.整体启动/停止YARNstart-yarn.sh/stop-yarn.sh2.各个服务组件逐一启动/停止1.分别启动/停止HDFS组件hdfs--daemonstart/stopnamenode/datanode/secondarynamenode2.分别启动/停止YARN......
  • Hadoop 配置日志聚集
    本文章的前置Hadoop-3.3.6分布式集群搭建步骤概念:集群中的每台Hadoop节点的运行都会产生日志,开启日志聚集后,将所有运行日志信息上传到HadoopHDFS系统上,可以更好的查看运行详情,方便开发及调试。注意:需要重启NodeManage、ResourceManager和HistoryServer来开启日志聚集功能。1.......