首页 > 系统相关 >进程

进程

时间：2024-01-16 21:15:34浏览次数：22  
标签：调用 队列 调度 阻塞 算法 进程

进程

在 Python 中，进程（Process）是计算机中正在执行的程序的独立实例。每个进程都有自己的内存空间、变量、文件描述符等资源，是操作系统进行任务调度和资源管理的基本单位。Python 提供了 multiprocessing 模块，使得在 Python 中创建和管理进程变得相对容易。

以下是一些关于 Python 进程的主要概念和特性：

  1. multiprocessing 模块： Python 中的 multiprocessing 模块允许你创建和管理多个进程。它提供了 Process 类来表示一个进程，并包含其他用于进程间通信和同步的工具。

  2. 进程创建： 通过实例化 Process 类并传递要执行的函数，可以创建新的进程。进程的执行体通常是一个函数，称为进程的目标函数。

    from multiprocessing import Process

def my_function():
    # 进程执行的代码

my_process = Process(target=my_function)
my_process.start()

  3. 进程间通信： 多个进程之间需要进行通信的情况下，可以使用 multiprocessing 模块提供的队列、管道等通信机制。

    from multiprocessing import Process, Queue

def worker(queue):
    data = queue.get()
    # 进程处理数据

my_queue = Queue()
my_process = Process(target=worker, args=(my_queue,))
my_process.start()
my_queue.put("Data to be processed")
my_process.join()

  4. 进程同步： multiprocessing 模块还提供了锁、事件等同步工具，用于协调多个进程的执行顺序和共享资源的访问。

    from multiprocessing import Process, Lock

def increment(shared_value, lock):
    for _ in range(100000):
        with lock:
            shared_value.value += 1

from multiprocessing import Value

shared_value = Value('i', 0)
my_lock = Lock()

process1 = Process(target=increment, args=(shared_value, my_lock))
process2 = Process(target=increment, args=(shared_value, my_lock))

process1.start()
process2.start()
process1.join()
process2.join()

print(shared_value.value)  # 输出 200000

  5. 进程池： 除了使用 Process 类，还可以使用 Pool 类来创建进程池，以便更有效地管理和利用系统资源。

    from multiprocessing import Pool

def square(x):
    return x ** 2

with Pool(processes=4) as pool:
    result = pool.map(square, range(10))
    print(result)  # 输出 [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

需要注意的是，由于 Python 的全局解释器锁（Global Interpreter Lock，GIL）限制，Python 中的多进程通常更适用于 CPU 密集型任务，而对于 I/O 密集型任务，更推荐使用线程或异步编程。

进程的调度问题

  • 要想多个进程交替运行
  • 操作系统必须对这些进程进行调度
  • 这个调度也不是随即进行的，而是需要遵循一定的法则
  • 由此就有了进程的调度算法。

（1）先来先服务算法

（1）理论

  • 先来先服务（FCFS）调度算法是一种最简单的调度算法

（2）适用场景

  • 该算法既可用于作业调度，也可用于进程调度。
  • FCFS算法比较有利于长作业（进程），而不利于短作业（进程）。
  • 由此可知，本算法适合于CPU繁忙型作业，而不利于I/O繁忙型的作业（进程）。

（2）短作业优先调度算法

（1）理论

  • 短作业（进程）优先调度算法（SJ/PF）是指对短作业或短进程优先调度的算法

（2）适用场景

  • 该算法既可用于作业调度，也可用于进程调度。
  • 但其对长作业不利；
  • 不能保证紧迫性作业（进程）被及时处理；
  • 作业的长短只是被估算出来的。

（3）时间片轮转法

（1）理论

  • 时间片轮转(Round Robin，RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。
  • 在时间片轮转法中，需要将CPU的处理时间分成固定大小的时间片
    • 例如，几十毫秒至几百毫秒。
    • 如果一个进程在被调度选中之后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放自己所占有的CPU而排到就绪队列的末尾，等待下一次调度。
    • 同时，进程调度程序又去调度当前就绪队列中的第一个进程。
  • 显然，轮转法只能用来调度分配一些可以抢占的资源。
    • 这些可以抢占的资源可以随时被剥夺，而且可以将它们再分配给别的进程。CPU是可抢占资源的一种。
    • 但打印机等资源是不可抢占的。

（2）适用场景

  • 由于作业调度是对除了CPU之外的所有系统硬件资源的分配，其中包含有不可抢占资源，所以作业调度不使用轮转法。
  • 在轮转法中，时间片长度的选取非常重要。
    • 首先，时间片长度的选择会直接影响到系统的开销和响应时间。
      • 如果时间片长度过短，则调度程序抢占处理机的次数增多。
      • 这将使进程上下文切换次数也大大增加，从而加重系统开销。
    • 反过来，如果时间片长度选择过长
      • 例如，一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕
      • 则轮转法变成了先来先服务法。
  • 时间片长度的选择是根据系统对响应时间的要求和就绪队列中所允许最大的进程数来确定的。
  • 在轮转法中，加入到就绪队列的进程有3种情况：
    • 一种是分给它的时间片用完，但进程还未完成，回到就绪队列的末尾等待下次调度去继续执行。
    • 另一种情况是分给该进程的时间片并未用完，只是因为请求I/O或由于进程的互斥与同步关系而被阻塞。当阻塞解除之后再回到就绪队列。
    • 第三种情况就是新创建进程进入就绪队列。
  • 如果对这些进程区别对待，给予不同的优先级和时间片从直观上看，可以进一步改善系统服务质量和效率。
    • 例如，我们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞原因分成不同的就绪队列，每个队列按FCFS原则排列，各队列之间的进程享有不同的优先级，但同一队列内优先级相同。
    • 这样，当一个进程在执行完它的时间片之后，或从睡眠中被唤醒以及被创建之后，将进入不同的就绪队列。

（4）多级反馈队列

（1）理论

  • 前面介绍的各种用作进程调度的算法都有一定的局限性。
    • 如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，而且如果并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将无法使用。
  • 而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间，而且还可以满足各种类型进程的需要，因而它是目前被公认的一种较好的进程调度算法。

（2）调度算法的实施过程

  • 在采用多级反馈队列调度算法的系统中，调度算法的实施过程如下所述。

[1]为多个就绪队列设置优先级

  • 应设置多个就绪队列，并为各个队列赋予不同的优先级。
  • 第一个队列的优先级最高，第二个队列次之，其余各队列的优先权逐个降低。
  • 该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每个进程所规定的执行时间片就愈小。
  • 例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。

[2]新进程等待调用

  • 当一个新进程进入内存后
    • 首先将它放入第一队列的末尾，按FCFS原则排队等待调度。
  • 当轮到该进程执行时，如它能在该时间片内完成，便可准备撤离系统；
    • 如果它在一个时间片结束时尚未完成，调度程序便将该进程转入第二队列的末尾，再同样地按FCFS原则等待调度执行；
    • 如果它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长作业(进程)从第一队列依次降到第n队列后，在第n 队列便采取按时间片轮转的方式运行。

[3]按顺序调度队列

  • 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；
    • 仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。
  • 如果处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)
    • 则此时新进程将抢占正在运行进程的处理机
    • 即由调度程序把正在运行的进程放回到第i队列的末尾
    • 把处理机分配给新到的高优先权进程。

并发与并行

  • 无论是并行还是并发，在用户看来都是同时运行的
    • 不管是进程还是线程，都只是一个任务而已
    • 真是干活的是cpu，cpu来做这些任务
    • 而一个cpu同一时刻只能执行一个任务

（1）并发

  • 是伪并行，即看起来是同时运行。
  • 单个cpu+多道技术就可以实现并发，（并行也属于并发）

（2）并行

  • 同时运行
    • 只有具备多个cpu才能实现并行

（1）单核

  • 单核下
    • 可以利用多道技术
    • 多个核，每个核也都可以利用多道技术（多道技术是针对单核而言的）

（2）多核

  • 有四个核，六个任务
    • 这样同一时间有四个任务被执行
    • 假设分别被分配给了cpu1，cpu2，cpu3，cpu4，
  • 一旦任务1遇到I/O就被迫中断执行
    • 此时任务5就拿到cpu1的时间片去执行
    • 这就是单核下的多道技术
  • 而一旦任务1的I/O结束了
    • 操作系统会重新调用它(需知进程的调度、分配给哪个cpu运行，由操作系统说了算)
    • 可能被分配给四个cpu中的任意一个去执行

image

（3）小结

  • 所有现代计算机经常会在同一时间做很多件事
  • 一个用户的PC（无论是单cpu还是多cpu），都可以同时运行多个任务（一个任务可以理解为一个进程）。
    • 启动一个进程来杀毒（360软件）
    • 启动一个进程来看电影（暴风影音）
    • 启动一个进程来聊天（腾讯QQ）
    • 所有的这些进程都需被管理
  • 于是一个支持多进程的多道程序系统是至关重要的

（4）多道技术概念回顾

  • 内存中同时存入多道（多个）程序
  • cpu从一个进程快速切换到另外一个
  • 使每个进程各自运行几十或几百毫秒
  • 这样，虽然在某一个瞬间
  • 一个cpu只能执行一个任务
  • 但在1秒内，cpu却可以运行多个进程
  • 这就给人产生了并行的错觉，即伪并发
  • 以此来区分多处理器操作系统的真正硬件并行（多个cpu共享同一个物理内存）

（3）总结

  • 并行肯定算并发
  • 单核的计算机肯定不能实现并行，但是可以实现并发。

同步/异步&阻塞/非阻塞（重点）

（1）同步

（1）理论

  • 所谓同步
    • 就是在发出一个功能调用时，在没有得到结果之前，该调用就不会返回。
    • 按照这个定义，其实绝大多数函数都是同步调用。
    • 但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务。

（2）示例

#发起同步调用后，就在原地等着任务结束，根本不考虑任务是在计算还是在io阻塞，总之就是一股脑地等任务结束
multiprocessing.Pool下的apply 

concurrent.futures.ProcessPoolExecutor().submit(func,).result()

concurrent.futures.ThreadPoolExecutor().submit(func,).result()

（2）异步

（1）理论

  • 异步的概念和同步相对。
    • 当一个异步功能调用发出后，调用者不能立刻得到结果。
    • 当该异步功能完成后，通过状态、通知或回调来通知调用者。
      • 如果异步功能用状态来通知
        • 那么调用者就需要每隔一定时间检查一次
        • 效率就很低（有些初学多线程编程的人，总喜欢用一个循环去检查某个变量的值，这其实是一 种很严重的错误）。
      • 如果是使用通知的方式
        • 效率则很高
        • 因为异步功能几乎不需要做额外的操作。
    • 至于回调函数，其实和通知没太多区别。

（2）示例

#发起异步调用后，并不会等待任务结束才返回，相反，会立即获取一个临时结果（并不是最终的结果，可能是封装好的一个对象）
multiprocessing.Pool().apply_async()

concurrent.futures.ProcessPoolExecutor(3).submit(func,)

concurrent.futures.ThreadPoolExecutor(3).submit(func,)

（3）阻塞

（1）理论

  • 阻塞调用是指调用结果返回之前，当前线程会被挂起（如遇到io操作）。
    • 函数只有在得到结果之后才会将阻塞的线程激活。
    • 有人也许会把阻塞调用和同步调用等同起来，实际上他是不同的。
    • 对于同步调用来说，很多时候当前线程还是激活的，只是从逻辑上当前函数没有返回而已。

（2）示例

[1]同步调用

  • apply一个累计1亿次的任务，该调用会一直等待，直到任务返回结果为止，但并未阻塞住（即便是被抢走cpu的执行权限，那也是处于就绪态）

[2]阻塞调用

  • 当socket工作在阻塞模式的时候，如果没有数据的情况下调用recv函数，则当前线程就会被挂起，直到有数据为止。

（4）非阻塞

  • 非阻塞和阻塞的概念相对应
    • 指在不能立刻得到结果之前也会立刻返回
    • 同时该函数不会阻塞当前线程。

（5）小结

（1）同步/异步

  • 同步与异步针对的是函数/任务的调用方式
  • 同步就是当一个进程发起一个函数（任务）调用的时候
    • 一直等到函数（任务）完成，而进程继续处于激活状态。
  • 而异步情况下是当一个进程发起一个函数（任务）调用的时候
    • 不会等函数返回，而是继续往下执行当，函数返回的时候通过状态、通知、事件等方式通知进程任务完成。

（2）阻塞/非阻塞

  • 阻塞与非阻塞针对的是进程或线程
  • 阻塞是当请求不能满足的时候就将进程挂起
  • 而非阻塞则不会阻塞当前进程

标签：调用,队列,调度,阻塞,算法,进程
From： https://www.cnblogs.com/ssrheart/p/17968547

相关文章

  • 对进程以及创建进程的理解
    【一】进程和程序【1】什么是进程？进程就是正在运行的程序【2】谁来执行进程？cpu【3】进程和程序的区别？程序是存储再硬盘里面的一堆代码和数据进程是正在运行的程序【二】进程调度问题有一个算法叫做任务调度算法就像是一个非常聪明的调度员，在计算机系统中负责安排......
  • 内存取证1-进程
    otterctf内存取证-----4-NameGame看到这题目，看看是不是浏览器登录，无果。这里似乎没有跟题干相关的答案。游戏登录了，登录进程里是不是包含账户信息，把进程dump下来看看。频道后面是不是账户名字，果然猜对了，上面都是假想自己做出来的，感觉蛮有意思的，所以记录下来，进程里居然......
  • 车机必备软件-小白点EasyTouch(类似苹果的悬浮球,返回,清理垃圾,杀进程)
    简介有些小伙伴升级车机后，由于部分软件打开后处于全屏状态无法返回，这里我教大家如何解决。解决办法就是：在车机上安装这款小白点软件，这款软件体积小巧，不占内存，操作也十分方便，它能帮助你快速回到主屏幕和返回上一个界面。界面展示caplay界面普通车机界面软件功能1、主屏......
  • Linux进程管理
    一、什么是进程进程是加载到内存中的一段指令。如果某个用户运行一个程序，那么这个程序产生的进程也会继承到这个用户的UID和GID以及SELINUX的上下文，并且进程还具有父子关系，一个父进程可以有多个子进程二、查看进程2.1ps查看进程信息用法作用ps查看当前终端的进程ps-a查看所有终......
  • Controller（StatefulSet）-部署有状态应用，部署守护进程，一次任务和定时任务
    Controller（StatefulSet）-部署有状态应用在Kubernetes中，StatefulSet是一种用于部署有状态应用的控制器。与无状态应用不同，有状态应用需要保持持久性和可识别的网络标识。在有状态应用中，每个Pod都有一个唯一的标识符，并且Pod的创建和删除顺序是有序的。在StatefulSet中创建的Pod具有以......
  • Linux进程间通信 [补档-2023-07-27]
    Linux进程间通信10-1简介​在Linux下，进程之间相互独立，每个进程都有自己不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到，所以进程和进程之间不能相互访问。如果非要交换数据则必须通过内核，在内核中开辟一块缓冲区。假设有两个进程AB，他们之间想......
  • Linux的进程管理 [补档-2023-07-25]
    Linux进程管理9-1并发与并行：​并发：在同一个cpu上，并且在一个时间段时，同时运行多个程序。比如在1000毫秒内，我们有5个程序需要执行，所以我们可以将1000毫秒分为5个200毫秒，让每个程序都占用200毫秒的cpu使用权，这样在1000毫秒内就可以执行5个程序。​并行：大于等......
  • golang进程（主线程）与协程
    概念主线程：golang中的主线程（在go中主线程就是进程，相比与其他编程语言叫法不一样）协程：golang中协程是轻量级的线程（相比于其他语言，只有进程和线程）；python中有进程和线程的概念，也有协程的概念；python中的协程通过async来实现并发与并行的概念并发：在一个cpu上有10个线程，每个线程10......
  • 13-服务守护进程：如何在 Kubernete 中运行 DaemonSet 守护进程？
    通过前面课程的学习，我们对Kubernetes中一些常见工作负载已经有所了解。比如无状态工作负载Dployment可以帮助我们运行指定数目的服务副本，并维护其状态，而对于有状态服务来说，我们同样可以采用StatefulSet来做到这一点。但是，在实际使用的时候，有些场景，比如监控各个节点的状态，使......
  • 进程与线程关系
    进程和线程是操作系统中的两个基本概念，它们之间的关系可以从以下几个方面来理解：定义与特性：进程是一个程序在计算机上的一次执行过程，它拥有自己独立的内存空间和系统资源。而线程则是进程中的一个执行任务，负责当前进程中程序的执行。每个进程都有自己独立的一块内存空间，一个进程......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99