简介
- 多线程:threading,利用 cpu 和 io可以同时执行的原理,让 CPU 不会等待 IO 完成
- 多进程:multiprocess,利用多核 CPU 的能力,真正的并行执行任务
- 异步IO:asynio,在单线程利用 CPU 和 IO 同时执行的原理,实现函数异步执行
- 使用 Lock 对共享资源加锁,防止冲突访问
- 使用 Queue 实现不同线程/进程之间的数据通信,实现生产者-消费者模式
- 使用线程池 Pool 进程池 Pool,简化线程/进程的任务提交、等待结束、获取结果
- 使用subprocess启动外部程序的进程,并进行输入输出交互
怎样选择多进程、多线程、多协程
并发编程的三种方式
多线程 Thread
多进程 Process
多协程 Coroutine
CPU 密集型计算和 IO 密集型计算
CPU密集型(CPU-bound):
CPU密集型也叫计算密集型,是指 I/O 在很短的时间就可以完成,CPU 需要大量的计算和处理,特点是CPU占用率相当高。
例如:压缩解压缩、加密解密、正则表达式搜索
IO 密集型(I/O bound):
IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O (硬盘/内存)的读/写操作,CPU 占用率仍然较低。
例如:文件处理程序、网络爬虫程序、读写数据库程序
根据任务选择对应技术
全局解释器锁 GIL
Python 速度慢的两大原因
GIL是什么
为什么有GIL这个东西
怎样规避 GIL 带来的限制
标签:多线程,Python,编程,并发,密集型,IO,进程,GIL,CPU From: https://www.cnblogs.com/JJJHaoran/p/18347602