首页 > 系统相关 >CDH集群内存不够?先别急着加机器

CDH集群内存不够?先别急着加机器

时间:2022-11-10 13:56:24浏览次数:49  
标签:别急 CDH yarn 集群 内存 服务器 每台

我们在使用CDH集群的时候,经常会跑一些spark、flink等任务,通常会占用集群较高的内存;

随着业务进展,数据量增加,可能会并行跑一些任务,或者是给历史任务分配的内存不足以运行现在的场景,就要给任务多分配内存,可能会遇到资源不够的情况,这时候先不要忙着加机器,看看有个参数调整了没!!

 

来看实例,举个三台服务器集群的例子,每台服务器的规格完全一样,来看下单台服务器的内存资源

单台内存有187G,这么看来三台服务器可利用总资源是 187*3=561G

然后我们去对比一下我们在CDH中给yarn分配的内存,路径如下

 

 

 

 

 

这里资源占用显示的451G(这是我调整之后的了,之前的没截图,调整前是270G)

下面就是调整的方法,点击上图的配置

 

然后点那个451G字节内存

 

 

 

在这里可以进行资源分配(我之前每台只分配了90G左右,现在改为每台150G)

在查看服务器单台内存之后,可以在这里按照需要合理的分配yarn管理的内存,当然core也是可以在上图配置中调整~~

因为我们一般hadoop集群运行都是基于yarn分配的内存的,所以这里可以合理地调高一些,这样是不是不用新增节点了~提高了集群地利用率~跑任务地时候分配内存也不用那么紧巴巴的了~~

 

 

 

 

标签:别急,CDH,yarn,集群,内存,服务器,每台
From: https://www.cnblogs.com/ycycycycyc/p/16876803.html

相关文章

  • 浅谈内存缓存和硬盘缓存
    内存缓存(frommemorycache)和硬盘缓存(fromdiskcache)内存缓存(frommemorycache):内存缓存具有两个特点,分别是快速读取和时效性:1、快速读取:内存缓存会将编译解析后......
  • 万象奥科Cortex-A55核心板全新上市!工业级品质,1G内存+8G存储!
    工业级Cortex-A551G主频+M33核DDR4+坏块管理写均衡eMMC35*35mm小尺寸10年+生命周期......
  • Android内存泄漏:谨慎使用getSystemService
    Android中有很多服务,比如PowerManager,AlarmManager,NotificationManager等,通常使用起来也很方便,就是使用Context.getSystemService方法来获得。一次在公司开发项目开发中,突......
  • java内部类 内存泄露
    Java语言中,非静态内部类的主要作用有两个:当内部类只在外部类中使用时,匿名内部类可以让外部不知道它的存在,从而减少了代码的维护工作。当内部类持有外部类时,它就可以直......
  • Spring Boot 引起的 “堆外内存泄漏”,太坑了,快看看你什么版本!
    作者:纪兵,2015年加入美团,目前主要从事酒店C端相关的工作。原文:https://tech.meituan.com/2019/01/03/spring-boot-native-memory-leak.html背景为了更好地实现对项目的管......
  • Java JVM的内存使用
    内存总览堆:运行时数据区域,所有类实例和数组的内存均从此处分配,堆是在Java虚拟机启动时创建的;非堆:非堆就是JVM留给自己用的,所有方法区、JVM内部处理或优化所需的内......
  • 一:JVM初识以及内存模型
    一:认识JVM1.1什么是JVMjava:跨平台的语言,jvm:跨语言的平台虚拟机分为程序虚拟机和系统虚拟机系统虚拟机是对物理计算机的一个仿真,提供了一个可运行完整操作系统平台的......
  • Java安全之Resin2内存马
    Java安全之Resin2内存马环境resin2.1.17添加Filter分析依然是web.xml注册一个filter,debug进去看注册流程debugdofilter逻辑时看到如下代码,最终走入this._filterChain......
  • JAVA-内存分配
    ......
  • C++第十二章:动态内存与类+断点错误
    前言C++类是针对对象的一种控制方法,可以看作各种函数与变量的管理方。类同样也会消耗内存,而且类一旦被创建,意味着相关成员会大量调用,此时内存的管理极其重要,常采用delete......