使用CDH调整yarn的内存和CPU资源大小

时间：2023-08-17 18:01:09浏览次数：33

标签：队列 CDH yarn 内存 Scheduler CPU 资源

1、登录CDH后选择YARN

2、更改CPU

在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟 CPU 内核】或者直接搜索 yarn.nodemanager.resource.cpu-vcores

这里改的是单个服务器可以用的CPU的核心数，假设有3台服务器，每台这里设置32那总的yarn集群可用的cpu数就是 32*3=96C，这个效果

3、更改内存

在yarn配置页面，搜索在类别->资源管理中找到【容器内存】或者直接搜索 yarn.nodemanager.resource.memory-mb

这里就是单台机器的可分配内存大小，单台机器50吉字节（GB），那总集群就是150G，这个效果

4、更改每个队列可以使用的资源范围

上面是设置总的yarn集群的资源，下面是设置每个队列可以使用的资源，还是一样在配置中找到： Fair Scheduler XML

YARN 中，Fair Scheduler 是一种资源调度器，它允许不同类型的作业（或应用程序）在共享的集群资源上公平地竞争。Fair Scheduler 使用 XML 配置文件来定义各种调度策略和资源分配规则。
maxResources 是 Fair Scheduler 配置文件中的一个配置项，用于设置调度队列的最大资源限制。具体来说，对于一个调度队列，您可以设置 maxResources 属性来限制该队列能够使用的最大资源数量，例如最大可用的虚拟 CPU 核心数和内存量

这里可以设置每个队列的内存和CPU最大和最小使用量和权重等信息

5、重启yarn，使配置生效

等重新启动后，登录yarn的8089页面就可以看到资源调整成新的了

标签：队列,CDH,yarn,内存,Scheduler,CPU,资源
From： https://blog.51cto.com/mapengfei/7126223

npm与yarn
早期npm速度慢，因为yarn有缓存机制、为并行安装，npm为串行安装。yarn带有版本锁定。2018年npm6发布后npm和yarn的构建时间不再有显差异。1.npm公共包1）注册创建账号2）打包好需要发布的内容3）切换下载源为npm官方源4）nrmusenpm5）登录npmlogin6）发布npmpublish--access=......
如何在Linux系统上查看CPU使用率？
Linux是一种开源操作系统，也被广泛应用于服务器和嵌入式设备上，那么作为一个服务器操作系统，监控系统资源的使用情况是非常重要的，那么该如何在Linux系统上查看CPU使用率呢?以下是详细的内容：1.使用top命令top命令是一个常用的Linux系统监控命令，可以实时查看系统的进程和资......
区分GPU和CPU
做项目，一直不清楚GPU和CPU的概念。超算：一群计算机连接一起，获得更强大的计算能力，使用GPU技术。以前是串行计算，现在是并行提交任务计算。CPU由于物理限制，工艺壁垒，主频无法突破，GPU在高速增长。GPU是专门为处理图形任务而产生的芯片对于GPU来说，它的任务是在屏幕上合成显示数......
window 下查看指定程序的 CPU 使用情况
1、开发环境：window10+QtCreator4.8.2+Qt5.12.22、开发背景：满足查看指定程序运行过程中的CPU使用情况3、实现方法：（1）通过程序名获取进程ID（2）获取CPU核心数量（3）获取进程运行时间（4）统计进程运行时的CPU使用率并保存（5）实现代码和配置文件如下//#inc......
苹果新一代“超级芯片”曝光：M3 Ultra最高可达32核CPU
近日，据外媒消息，苹果计划在2024年推出新一代“超级芯片”M3Ultra。据悉，M3Ultra将大幅增加CPU核心数量，同时GPU核心数量也将适度增加。具体来说，M3Ultra与此前M2Ultra的规格对比如下：基础版M3Ultra规格：32核CPU，包括24个性能核和8个效率核，64核GPU；基础版M2Ultra规格：24核CPU，包括1......
msr读取CPU温度
一MSR寄存器介绍MSR寄存器简介MSR(ModelSpecificRegister)是一类x86CPU提供的特殊寄存器,可以用来存储各种模型特定的数据,如配置、状态等信息。温度相关MSR寄存器在IntelCPU中,和温度检测相关的MSR寄存器主要有:IA32_THERM_STATUS(0x19C):包含温度数据IA32_TEMPERATURE_TA......
CPUID的读取
一CPUID介绍CPUID是一个用于获取中央处理单元（CPU）相关信息的指令。它通常在x86架构的计算机上使用，通过读取CPU寄存器中的特定值来提供关于CPU特性、制造商、型号和支持的功能的信息。CPUID指令返回的信息对于操作系统、编程、性能优化以及硬件识别非常有用。以下是有关CP......
Spark提交程序到Yarn任务状态一直为Accepted
正在学习《Spark快速大数据分析》第七章-在集群上运行Spark，写了一个单词数量统计的Spark程序提及到Yarn，但是状态一直是Accepted，等待运行。1、排查了Yarn资源调度器配置，配置的是公平配置，确认无问题<property> <name>yarn.scheduler.fair.allocation.file</name> <value>/opt/ha......
让Webbrowser、CDHtmlDialog中的控件显示为系统主题样式
方法1:在HTML文件里加上如下代码<METAHTTP-EQUIV="MSThemeCompatible"CONTENT="Yes">方法3:在以CDHtmlDialog类为基类的头文件中加入如下代码(推荐)classCWebBrowserThemeDlg:publicCDHtmlDialog{STDMETHOD(GetHostInfo)(DOCHOSTUIINFO*pInfo){pInfo->dwFlags|......
CPU过载问题
##物理CPU个数cat/proc/cpuinfo|grep'physicalid'|sort|uniq|wc-l##每个物理CPU中的核数cat/proc/cpuinfo|grep'cpucores'|uniq##逻辑CPU的个数cat/proc/cpuinfo|grep'processor'|wc-l##查看内存[dev@jkshv-oa-app1-0~]......