首页 > 系统相关 >python多进程编程常用到的方法

python多进程编程常用到的方法

时间:2023-08-04 20:56:18浏览次数:33  
标签:__ Process name python 编程 print start time 进程

python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU资源,在python中大部分情况需要使用多进程。

python提供了非常好用的多进程包Multiprocessing,只需要定义一个函数,python会完成其它所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。

multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、LocK等组件

一、Process

语法:Process([group[,target[,name[,args[,kwargs]]]]])

参数含义:target表示调用对象;args表示调用对象的位置参数元祖;kwargs表示调用对象的字典。name为别名,groups实际上不会调用。

方法:

is_alive():
join(timeout):
run():
start():
terminate():

属性:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为-N,表示被信号N结束)、name、pid。其中daemon是父进程终止后自动终止,且自己不能产生新的进程,必须在start()之前设置。

1.创建函数,并将其作为单个进程

from multiprocessing import Process
def func(name):
    print("%s曾经是好人"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()   #start()通知系统开启这个进程

2.创建函数并将其作为多个进程

from multiprocessing import Process
import random,time

def hobby_motion(name):
    print('%s喜欢运动'% name)
    time.sleep(random.randint(1,3))

def hobby_game(name):
    print('%s喜欢游戏'% name)
    time.sleep(random.randint(1,3))

if __name__ == "__main__":
    p1 = Process(target=hobby_motion,args=('小明',))
    p2 = Process(target=hobby_game,args=('张三',))
    p1.start()
    p2.start()

执行结果:

小明喜欢运动
张三喜欢游戏

3.将进程定义为类(开启进程的另一种方法,并不是很常用)

from multiprocessing import Process
class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):  #start()时,run自动调用,而且此处只能定义为run。
        print("%s曾经是好人"%self.name)

if __name__ == "__main__":
    p = MyProcess('kebi')
    p.start()  #将Process当作父类,并且自定义一个函数。

4.daemon程序对比效果

不加daemon属性

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    print("this is over")

#执行结果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017

加上daemon属性

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True   #父进程终止后自动终止,不能产生新进程,必须在start()之前设置
    p.start()
    print("this is over")

#执行结果
this is over

设置了daemon属性又想执行完的方法:

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True
    p.start()
    p.join()  #执行完前面的代码再执行后面的
    print("this is over")

#执行结果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over

5.join():上面的代码执行完毕之后,才会执行后i面的代码。

先看一个例子:

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    print("this is over")

执行结果:
this is over   #最后执行,最先打印,说明start()只是开启进程,并不是说一定要执行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian   #最先打印,第二位执行
Good bother:kebi     
Good bother:xiaoniao

添加join()

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p.join()   #上面的代码执行完毕之后,再执行后面的
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    print("this is over")
    print(time.time() - start)

#执行结果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252  #每个进程执行完了,才会执行下一个
Good bother:xiaoniao
this is over
6.497815370559692   #2+1+3+主程序执行时间

改变一下位置

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    p.join()   #需要2秒
    p1.join()  #到这时已经执行完
    p2.join()   #已经执行了2秒,还要1秒
    print("this is over")
    print(time.time() - start)

#执行结果
#Python小白学习交流群:711312441
A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064  #几乎是同时开启执行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171  #以最长时间的为主

6.其它属性和方法

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    p.terminate()  #将进程杀死,而且必须放在start()后面,与daemon的功能类似

#执行结果
this is over
from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    # p.daemon = True
    print(p.is_alive())
    p.start()
    print(p.name)   #获取进程的名字
    print(p.pid)    #获取进程的pid
    print(p.is_alive())  #判断进程是否存在
    print("this is over")

标签:__,Process,name,python,编程,print,start,time,进程
From: https://www.cnblogs.com/djdjdj123/p/17607012.html

相关文章

  • 进程注入检测——DLL注入检测的几种方式:1、命令行,包含某些特定注入工具的关键字 2、排
    进程注入检测DLL注入检测的几种方式:1、命令行,包含某些特定注入工具的关键字2、排除白名单的可疑注入3、可疑的DLL加载4、特定工具注入的startaddress异常 以下内容来自CAR和splunk等开源检测渠道: title:CobaltStrikeProcessInjectionid:6309645e-122d-4c5b-bb2b-22e4f9c2fa42......
  • 系统中出现大量不可中断进程和僵尸进程怎么办?
    进程状态通过top命令,我们可以看到进程的状态(S列)toptop-19:27:57up365days,25min,0users,loadaverage:0.06,0.05,0.01Tasks:134total,1running,90sleeping,0stopped,0zombie%Cpu(s):0.3us,0.5sy,0.0ni,99.2id,0.0wa,0.0h......
  • 网络编程
    网络编程概述计算机网络:计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统.网络管理软件及网络通信协议的管理和协商下,实现资源共享和信息传递的计算机系统网络通信的要素网络编程中有两个主要的问题:如何准确地......
  • 【python_5】基础语法:数据类型以及数据类型转变!
    1.使用type()语句查看数据类型目前在入门阶段,我们主要接触如下三类数据类型:类型描述说明string字符串类型用引号引起来的数据都是字符串int整型(有符号)数字类型,存放整数如-1,10,0等float浮点型(有符号)数字类型,存放小数如-3.14,6.78等我们可以通过type()语句来得到数据的类型:type(被查......
  • 关于Python的学习记录(二十一_对象的序列化和反序列化)
    JSON概述在Python中,我们可以将程序中的数据以JSON格式进行保存。JSON是“JavaScriptObjectNotation”的缩写,它本来是JavaScript语言中创建对象的一种字面量语法,现在已经被广泛的应用于跨语言跨平台的数据交换。使用JSON的原因非常简单,因为它结构紧凑而且是纯文本,任何操......
  • Python数据的深浅拷贝
    一、怎么理解深浅拷贝二、本人之前的错误理解(写到最后我会进行提示,以防某些同学跟着我之前的思路走,导致理解混乱,怕自己理解混乱的同学可以不看这部分。) 一、深浅拷贝主要的区别是在于数据进行拷贝的时候,发生的变化浅拷贝:创建一个新对象,然后将原始对象中的元素复制到新对象中......
  • 编程精华资源(ITeye优秀专栏)大汇总
    博客是记录学习历程、分享经验的最佳平台,多年以来,各路技术大牛在ITeye网站上产生了大量优质的技术文章,并将系列文章集结成专栏,以便读者能够更便捷、更系统地浏览学习,这些可称之为“编程精华资源”。 为了便于读者更好地查阅,本文将ITeye中的这些精华资源进行了整理分类,你可以通过......
  • 光环大数据python爬虫
    一、全面的爬虫工程师的技能单   1、python编程语言基础   2、HTTP协议(处理响应,)   3、html,css,javascript基本web技能   4、mysql/mongodb/redis等存储系统   5、urllib/requests/scrapy/pyspider 用来模拟浏览器发起HTTP请求的组件   6、抓包......
  • GitHub中最火的开源项目及编程语言
    GitHub目前已经成为全球最流行的开源项目托管平台,目前托管在GitHub上的项目数量已经达到了1000万,而达到这一里程碑只用了不到4年的时间,这足以见得开源的趋势以及GitHub的受欢迎程度。 2012年8月,GitHub在每个项目主页面中加入了Star功能,允许用户通过标注Star的形式来标记自己感兴趣......
  • 如何在python中执行另一个py文件
    使用命令:os.system(‘pythonfile_name.py’)解释:os.system是执行当前的系统命令1、拿windows系统举例:#由于ipconfig/all在windows中是查看ip地址#所以将此命令运行在os.system中,即可查看系统的ip地址等信息importosos.system('ipconfig/all')#因为pythonfile_name.p......