首页 > 其他分享 >分布式计算架构详解以及任务调度方式

分布式计算架构详解以及任务调度方式

时间:2024-08-30 09:52:55浏览次数:15  
标签:调度 分布式计算 任务 详解 服务器 任务调度 节点

信息技术领域重要分支—分布式计算。分布式计算通过将任务分配到多个物理的计算资源上进行处理,以来提高计算效率和资源利用率。今天主讲分布式计算架构的关键组成以及在云服务器背景下任务调度的不同方式,然后再综合来看这些调度策略是怎样适应云环境的动态性和可扩展性。

以前的集中式计算模式相对落后,根源是因为很难满足现在复杂的数据处理和存储需求。然而分布式计算却从根本上解决了这样的困局,它能提供的就是高扩展性、灵活性以及容错性。现在被大部分企业采用的云服务器,也从一定程度上加速了分布式计算发展,不论是任务调度还是资源管理,云服务器都在帮助企业从传统模式下走出。

分布式计算架构详解以及任务调度方式_分布式计算

·先来说说分布式计算架构的组成

资源层-包括处理节点、存储节点和网络基础设施;

其中处理节点是执行计算任务的工作单元,这个单元不固定死,可以是物理服务器、容器。一般来说,处理节点通常分布在不同的地理位置,并且提供高性能的计算能力。

存储节点主要负责数据的存储和检索,支持本地存储、网络附加存储(NAS)或者是存储区域网络(SAN),存储节点要配有具备可靠性和数据容错机制,用来确保数据的安全和持久性。

网络基础设施包括了链接各个节点的网络设备和通信协议。以太网、光纤网等的路由策略对于数据传输来说起到正面作用,可以保证数据传输的速度以及稳定性。


管理层-负责资源的分配、监控以及管理;

根据任务需求和资源的可用性,动态分配处理节点和存储资源是资源分配的重心,这其中涵盖了资源的初始化、配置以及回收。

监控和管理是指实时监控系统的性能指标,比如节点负载、网络流量以及任务的执行状态,也针对资源的健康状况进行检测和恢复。

确保系统访问的安全性、实施认证和授权机制是安全性控制中重要一环。


通信层-确保各个节点之间的数据交换和协调;

数据传输协议,是对数据在节点之间传输的规则和格式的定义。TCP/IP、HTTP等。

消息传递系统提供了一种机制,使得节点可以发送和接收信息,支持任务的协调和同步。

网络通信的优化是针对网络延迟和带宽限制,优化数据传输的效率和可靠性。


应用层-提供应用程序的接口和执行环境;

接口抽象、任务抽象和封装,执行环境是应用层特点。

接口抽象为应用程序提供统一接口,隐藏底层资源的复杂特征。

任务抽象是将应用程序分解为可以独立执行的任务,便于在多个节点上并行处理。

然后是执行环境,在运行时,提供必要支持,比如内存管理、进程调度和错误处理。

·主要的两种架构模式分为Master-Slave模式以及Peer-to-Peer模式。其中前者是常见模式,Master节点负责任务分配和监控,Slave节点执行实际的计算任务。Peer-to-Peer模式主要特征是所有节点地位是平等的,相互之间分配和执行任务不会串行,各司其职。

·任务调度方式和策略

任务调度方式可以分为静态和动态,也就是不在运行中和运行中两类。

静态调度是在运行任务前完成调度过程,这种调度方式适用于任务类型和资源需求可预测的场景。

动态调度是在根据运行时的情况动态调整任务分配,这种方式适用于不确定性和变化性(即公司业务不确定 时大时小 这种就是动态调度的应用场景之一)

调度策略关键点在于负载均衡、资源利用、和响应时间。

其一要确保所有计算节点的工作负载均衡;其二,要通过优化资源分配,来提高资源的利用率;在通过快速分配任务,减少任务完成的等待时间。

·再来结合云服务器来谈谈分布式计算

由分布式计算延伸出来的云服务器具有弹性伸缩,按需付费以及高可用性等优势。上面所叙述的动态调度指的就是云服务器弹性伸缩,即根据需求动态调整资源,并按照实际使用量付费。再就是多地域部署的高可用性。

灵活性和驱动力是云服务器结合分布式计算得出的优势,通过不断优化任务调度策略和资源管理办法,可以更好提高分布式计算的性能和效率。

分布式计算架构详解以及任务调度方式_分布式计算_02

标签:调度,分布式计算,任务,详解,服务器,任务调度,节点
From: https://blog.51cto.com/u_16658772/11874496

相关文章

  • 数据结构-单链表-详解-1
    数据结构-单链表-详解-11.前言2.结点3.打印3.1关于断言3.2下一结点的找法物理结构逻辑结构1.前言在数据结构-顺序表-详解中,我详细介绍了顺序表的实现,而顺序表也有一些缺点:中间,头部插入时,需整体挪动数据,效率低下。空间不够时扩容,有一定的消耗,也可能有一定空间浪费......
  • 【AI绘画】Midjourney前置指令/blend、/info、/subscribe详解
    文章目录......
  • Makefile 基础与常用语法详解
    目录 一、引言二、Makefile基础概念1.目标、依赖和命令2.文件名和搜索路径3.执行顺序和依赖关系三、Makefile常用语法1.变量和宏定义2.自动变量3.模式规则 4.条件判断5.循环6.伪目标 四、Makefile实际应用示例五、总结 一、引言        在......
  • 二. Spring Boot 中的 “依赖管理和自动配置” 详解透彻到底(附+详细代码流程)
    二.SpringBoot中的“依赖管理和自动配置”详解透彻到底(附+详细代码流程)@目录二.SpringBoot中的“依赖管理和自动配置”详解透彻到底(附+详细代码流程)1.如何理解“约定优于配置”2.SpringBoot依赖管理和自动配置2.1SpringBoot的依赖管理2.1.1什么是依赖管理......
  • MySQL WAL机制详解
    目录:是什么undologRedoLog 与BinlogRedolog三种状态redolog 的持久化Binlog三种格式三种状态binlog 的持久化两者的联系状态Crash-Safe 能力三步提交的参数配置组提交优化" 三步提交"三步提交过程总结三个日志的比较(undo、redo、bin) ......
  • C语言基础——函数详解
    目录 函数的概述1函数的概念2函数的意义 函数的定义和使用1函数的定义2函数的调用2.1在同一文件中函数定义后函数调用2.2在同一文件中函数定义前函数调用2.3调用其它文件中定义的函数2.3.1在函数调用文件中进行声明2.3.2在头文件中进行函数的声明 函......
  • Java——Stream 流的使用详解
    Stream 是一个可以用于操作集合、数组等数据源的API,主要进行数据的转换、筛选、聚合等操作这样做可以避免显式地使用迭代器或者循环来操作集合,提高代码的可读性和简洁性特点: 1、无存储性:是基于数据源的对象,本身不存储元素,而是通过管道将数据源元素传递给操作2......
  • Redis 数据类型详解
    Redis是一个开源的内存数据结构存储系统,广泛应用于缓存、消息队列、实时数据分析等场景。Redis提供了多种数据类型,本文将详细介绍Redis的五种主要数据类型及其应用场景,并从概述、基本操作、应用场景和数据结构等方面进行深入探讨。1.字符串(String)概述字符串是Redis......
  • MySQL 数据类型详解
    MySQL是一种广泛使用的关系型数据库管理系统,它支持多种数据类型以满足各种应用场景的需求。本文将详细介绍MySQL支持的数据类型、它们的使用场景以及实现原理,并通过图示帮助读者更直观地理解。目录简介数值类型整型浮点型定点型日期和时间类型字符串类型字符串二进制字......
  • Redis 数据类型详解
    Redis是一个开源的内存数据结构存储系统,广泛应用于缓存、消息队列、实时数据分析等场景。Redis提供了多种数据类型,本文将详细介绍Redis的五种主要数据类型及其应用场景,并从概述、基本操作、应用场景和数据结构等方面进行深入探讨。1.字符串(String)概述字符串是Redis......