首页 > 其他分享 >Slurm执行的CPU管理步骤

Slurm执行的CPU管理步骤

时间:2023-04-16 22:15:10浏览次数:49  
标签:步骤 Slurm CPU step 节点 分配 select

Slurm使用四个基本步骤来管理一个job/step的CPU资源:

步骤1:节点选择
Slurm选择向作业或作业步骤分配CPU资源的节点集。节点选择受到许多控制CPU分配的配置和命令行选项的影响(下面的步骤2)。如果配置了SelectType=select/linear,则所选节点上的所有资源都将分配给job/step。如果SelectType配置为select/con_res或select/con_tres,则可以从所选节点中分配单独的socket、core和thread作为消耗资源。消耗资源类型由SelectTypeParameters定义。

步骤2:从选定的节点分配CPU
Slurm从步骤1中选择的一组节点中为一个job/step分配CPU资源。CPU分配受与节点选择相关的配置和命令行选项的影响。如果配置了SelectType=select/linear,则所选节点上的所有资源都将分配给job/step。如果SelectType被配置为select/cons_res或select/ccons_tres,则可以从所选节点分配单独的socket、core和thread作为可消耗资源。消费资源类型由SelectTypeParameters定义。
当使用select/cons_res或select/cons_tres的SelectType时,跨节点的默认分配方法是block分配(在使用另一个节点之前,分配一个节点中所有可用的CPU)。节点内的默认分配方法是循环分配(在节点内的socket之间以循环方式分配可用的CPU)。用户可以使用下面描述的适当命令行选项覆盖默认行为。分配方法的选择可能会影响将哪些特定CPU分配给job/step。

步骤3:将任务分配给选定的节点
Slurm将任务分配给在步骤1中为job/step选择的节点。每个任务只分发给一个节点,但可以将多个任务分发到每个节点。除非为作业指定CPU对任务的过度使用(overcommitment),否则分配到节点上的任务数量受节点上分配的CPU数量和每个任务的CPU数量的限制。如果配置了消耗资源,或允许资源共享,那么来自多个job/step的任务可以同时在同一节点上运行。

步骤4:将任务分配和绑定到节点内的CPU(可选)
在可选的步骤4中,Slurm将每个任务分发并绑定到步骤3中任务分发到的节点上分配的CPU。分布在同一节点上的不同任务可以绑定到相同的CPU子集或不同的子集。这一步被称为任务亲和或任务/CPU绑定。

 

标签:步骤,Slurm,CPU,step,节点,分配,select
From: https://www.cnblogs.com/liu-shaobo/p/17324211.html

相关文章

  • SpringCloud架构之注册中心/负载均衡组件搭建重点步骤
    我的GitHub地址:https://github.com/hiders1/cloud-demoGitHub的使用见:https://www.cnblogs.com/jinjiyese153/p/6796668.htmlVSC不见的话参考:https://blog.csdn.net/Ericjim/article/details/129215479 Nacos服务注册中心下载安装:1:Window系统远程下载GitHub地址:https://gi......
  • nginx自定义负载均衡及根据cpu运行自定义负载均衡
    转载请注明出处:1.nginx如何自定义负载均衡在Nginx中,可以通过配置文件自定义负载均衡策略。具体步骤如下:首先,在Nginx配置文件中定义一个upstream模块,并设置负载均衡策略和后端服务器列表,例如:upstreammyapp{serverbackend1.example.comweight=3;server......
  • 创建守护进程步骤
    1.创建子进程,父进程退出.所有工作在子进程中进行形式上脱离了控制终端2.在子进程中创建新会话+setsid()函数使子进程完全独立出来,脱离控制。3.改变当前目录位置chdir()函数防止占用可卸载的文件系统也可以换成其它路径*4.重设文件权限掩码umask0)函数......
  • Qt程序CPU过高怎么定位解决?Qt程序性能优化
    自己开发的一个程序采用多线程调用url从网络上下载股票数据,一旦开启程序就特别的卡;想着优化一下;授之于鱼,不如授之以渔;1.CPU过高排查方法(1)打开vs的性能探测器; (2)勾选CPU,然后点击开始按钮    (3)运行一段时间后,点击停止,分析一会会出现下面的CPU使用报告   (4)根据......
  • i7cpu温度90度会坏吗详细介绍
    有很多喜欢玩游戏的小伙伴在选择CPU的时候都会选择IntelCorei7处理器,那么这款i7cpu温度90度会坏吗?下面就为大家带来详细介绍。【CPU温度多少正常相关介绍】i7cpu温度90度会坏吗:答:i7cpu温度90度不会坏。i7cpu温度90度不会坏,会损伤到硅晶体的温度大概在115度,只要低于该温度就......
  • 极简组调度-CGroup如何限制cpu
    1.说明1>linux内核关于task调度这块是比较复杂的,流程也比较长,要从源码一一讲清楚很容易看晕,因此需要简化,抓住主要的一个点,抛开无关的部分才能讲清楚核心思想2>本篇文章主要是讲清楚在cfs公平调度算法中,CGroup如何限制cpu使用的主要过程,所以与此无关的代码一律略过3>本篇源......
  • JAVAWEB-项目-实现登录功能步骤-2023-04-14
    第一步:编写前端页面第二步:设置首页第三步:编写dao层用户dao接口第四步:编写Servic层用户Service接口实现类第五步:编写Servic层用户Service接口第六步:编写Servic层用户Service接口实现类(用@Test测试一下是否可行)第七步:编写LoginServlet类第八步:web.xml注册LoginServlet第九......
  • golang 必会之 pprof 监控系列(5) —— cpu 占用率 统计原理
    golangpprof监控系列(5)——cpu占用率统计原理大家好,我是蓝胖子。经过前面的几节对pprof的介绍,对pprof统计的原理算是掌握了七八十了,我们对memory,block,mutex,trace,goroutine,threadcreate这些维度的统计原理都进行了分析,但唯独还没有分析pprof工具是如何统计cpu使用情......
  • CPU, mpu mcu soc 的区别
      从它们的名字上看以及 从网上的资料上看,我觉得他们没有任何的区别。都是指的处理单元。但是在实际使用中,人们形成了约定俗称的叫法。比如: mcu :指的是单片机,芯片包含了ramflash以及外设接口。mpu:指的是cortexA系列,包含了cpu,以及外设接口,但是......
  • Spring MVC核心开发步骤
    SpringMVC具体的核心开发步骤:1、DispatcherServlet在web.xml中的部署描述,从而拦截请求到SpringWebMVC2、HandlerMapping的配置,从而将请求映射到处理器3、HandlerAdapter的配置,从而支持多种类型的处理器4、ViewResolver的配置,从而将逻辑视图名解析为具体视图......