记一次协程|线程|进程学习记录

本章仅以获取图片来测试一下Py的同步、异步、协程、多进程、多线程的速度。凑个热闹即可，具体需要以实际情况为主。

图片数量：257张

执行操作：
1、读取文件
2、发起请求
3、下载图片

所需库：
pip install httpx
pip install aiomultiprocess
pip install aiofiles
pip install requests

同步

def get_img():
    with open('imgs', 'r', encoding='utf-8') as r:
            contents = r.read()
    # print(contents.split('\n'))
    for href in contents.split('\n'):
        img = requests.get(href).content
        with open('img/' + href[-28:-16] + '.jpg', 'wb') as w:
            w.write(img)
        print("加载成功", href)
#
start_time = timeit.default_timer()
get_img()
end_time = timeit.default_timer()
elapsed_time = end_time - start_time
print("Elapsed Time:", elapsed_time)

协程

import asyncio
import aiofiles
import httpx
import timeit

async def read_img():
    # 异步读取
    async with aiofiles.open('imgs', 'r', encoding='utf-8') as r:
        contents = await r.read()
        return contents.split('\n')


async def download_image(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.content

async def get_image():
    contents = await read_img()
    tasks= [url for url in contents]
    for task in tasks:
        image_content = await download_image(task)
        try:
            async with aiofiles.open('img/' + task[-28:-16] + '.jpg', 'wb') as f:
                await f.write(image_content)
                print("加载成功~ {}".format(task))
        except:
            print("有点小问题，跳过")

if __name__ == '__main__':
    start_time = timeit.default_timer()
    asyncio.run(get_image())
    end_time = timeit.default_timer()
    elapsed_time = end_time - start_time

    print("Elapsed Time:", elapsed_time)

用到了一些其他模块，需要pip下载，按照上述指示下载即可。

就不一一举例的，具体的已经都放在了笔记中

直接来看看效果

异步

多进程 + 异步

多线程 + 异步

多线程

总结

为什么多线程在这里要更快？？
为什么多进程 + 异步也慢？？

这是一个先对问题，为什么这么说？跟数据量有关系，不能因为表面而被迷惑。因为协程跟进程是需要额外开销的，在程序启动的时候，这个开销在数据量小的时候尤其明显。(非官方解释，可参考博主的笔记)