线程安全队列

python内置的线程安全队列模块叫queue

Python的Queue模块中提供了同步的、线程安全的队列类

FIFO(先进先出) 队列Queue

LIFO(后进先出)LifoQueue

• 可以使用队列来实现线程间的同步

队列的常用方法

• 使用方法

from queue import Queue

# 指定队列当中最多可存放5个数据
queue = Queue(5)
for i in range(1,6):
    queue.put(i)		# 队列当中添加数据

print("当前队列的大小为：",queue.qsize())

# for i in range(1,6):
#     print(queue.get(i))

for j in range(1,9):
    try:
        print(queue.get(block=False))
        print("当前队列的大小为：",queue.qsize())
    except:
        print("队列已经为空了")
        break

from queue import Queue

queue = Queue(5)
for i in range(5):
    queue.put(i)

if queue.full():
    print("对列已满")
for j in range(3):
    queue.get()

print("当前队列大小为：",queue.qsize())

在多线程当中使用

Queue是线程安全的队列，在使用时无须加锁，可以再多线程当中直接使用

队列也是实现线程间同步的方式

from queue import Queue
import threading
import random
import time

def put_data(queue):
    while True:
        queue.put(random.randint(10,100))
        time.sleep(1)
        print(queue.qsize())
def get_data(queue):
    while True:
        print(f"已经获取到队列当中的--{queue.get()}--元素")

def main():
    queue = Queue(10)
    t1 = threading.Thread(target=put_data,args=(queue,))
    t2 = threading.Thread(target=get_data,args=(queue,))
    t1.start()
    t2.start()

if __name__ == '__main__':
    main()

生产者与消费者模式

产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。

单单抽象出生产者和消费者，还够不上是生产者／消费者模式。该模式还需要有一个缓冲区处于生产者和消费者之间，作为一个中介。生产者把数据放入缓冲区，而消费者从缓冲区取出数据。

• 缓冲区

如果制造数据的速度时快时慢，缓冲区的好处就体现出来了。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。

# -*- coding:utf-8 -*-
import os
import requests
from queue import Queue
from threading import Thread
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"}


# 生产者类
class Page_Url(Thread):
    # page_queue 生产者队列   img_queue 消费者队列
    def __init__(self, page_queue, img_queue):
        super().__init__()
        self.page_queue = page_queue
        self.img_queue = img_queue

    def run(self):
        while True:
            # 判断队列是否为空，如果为空，返回True，循环结束
            if self.page_queue.empty():
                break
            # 从队列当中获取前5页的链接
            url = self.page_queue.get()
            self.download_image(url)

            
    def download_image(self, url):
        resp = requests.get(url, headers=headers).text
        soup = BeautifulSoup(resp, "lxml")
        image_list = soup.find_all("img", class_="ui image lazy")
        for img in image_list:
            title = img.get("title")
            href = img.get("data-original")
            # 将提取到的标题和链接以元组的形式添加到消费者队列当中
            self.img_queue.put((title, href))


# 消费者类
class Img_Url(Thread):
    def __init__(self, page_queue, img_queue):
        super().__init__()
        self.page_queue = page_queue
        self.img_queue = img_queue

    def run(self):
        while True:
            data = self.img_queue.get()
            title, href = data
            try:
                with open("./image/" + title + os.path.splitext(href)[-1], "wb") as f:
                    resp = requests.get(href).content
                    f.write(resp)
                    print(title,"---保存成功")
            except OSError:
                pass
            # 判断两个队列是否全部清空
            if self.page_queue.empty() and self.img_queue.empty():
                break

def main():
    # 创建两个队列
    page_queue = Queue()
    img_queue = Queue()

    for num in range(1, 6):
        url = "https://www.fabiaoqing.com/biaoqing/lists/page/{}.html".format(num)
        # 将前5也的url添加到生产者队列
        page_queue.put(url)

    t1 = Page_Url(page_queue, img_queue)
    t1.start()
    t2 = Img_Url(page_queue,img_queue)
    t2.start()


if __name__ == '__main__':
    main()