我们在使用CDH集群的时候,经常会跑一些spark、flink等任务,通常会占用集群较高的内存;
随着业务进展,数据量增加,可能会并行跑一些任务,或者是给历史任务分配的内存不足以运行现在的场景,就要给任务多分配内存,可能会遇到资源不够的情况,这时候先不要忙着加机器,看看有个参数调整了没!!
来看实例,举个三台服务器集群的例子,每台服务器的规格完全一样,来看下单台服务器的内存资源
单台内存有187G,这么看来三台服务器可利用总资源是 187*3=561G
然后我们去对比一下我们在CDH中给yarn分配的内存,路径如下
这里资源占用显示的451G(这是我调整之后的了,之前的没截图,调整前是270G)
下面就是调整的方法,点击上图的配置
然后点那个451G字节内存
在这里可以进行资源分配(我之前每台只分配了90G左右,现在改为每台150G)
在查看服务器单台内存之后,可以在这里按照需要合理的分配yarn管理的内存,当然core也是可以在上图配置中调整~~
因为我们一般hadoop集群运行都是基于yarn分配的内存的,所以这里可以合理地调高一些,这样是不是不用新增节点了~提高了集群地利用率~跑任务地时候分配内存也不用那么紧巴巴的了~~
标签:别急,CDH,yarn,集群,内存,服务器,每台 From: https://www.cnblogs.com/ycycycycyc/p/16876803.html