yarn-site.xml:
表示该节点服务器上yarn可以使用的虚拟CPU个数,默认是8,推荐将值配置与物理核心个数相同
yarn.nodemanager.resource.cpu-vcores: 24
设置该节点上yarn可使用的内存,默认为8G,如果节点内存资源不足8G,要减少这个值,yarn不会智能的去检测内存资源,一般这个设置yarn的可用内存资源
yarn.nodemanager.resource.memory-mb: 51412
yarn.scheduler.increment-allocation-mb: 512
yarn.app.mapreduce.am.command-opts: -Xmx819m
yarn.scheduler.minimum-allocation-mb: 512
单任务最小内存
如果设置成2G,那50/2 = 25,就是最多可以跑25个container
如果设置成3G,那50/3 = 16,就是最多可以跑16个container
yarn.app.mapreduce.am.resource.mb: 1024
hdfs-site.xml:
dfs.namenode.handler.count: 14
mapred-site.xml:
mapreduce.task.io.sort.mb: 409
mapreduce.map.memory.mb: 1024
mapreduce.reduce.memory.mb: 1024
mapreduce.map.java.opts: -Xmx819m
mapreduce.reduce.java.opts: -Xmx819m
capacity-scheduler.xml
yarn.scheduler.capacity.maximum-am-resource-percent: 0.8