Python多线程爬虫又来了

Python多线程的主要好处是可以在单个程序中同时执行多个任务，从而提高应用程序的性能和效率。具体来说，多线程有以下几个优点：

提高CPU利用率：通过多线程，可以更充分地利用CPU资源，尤其适用于计算密集型的任务。

降低IO阻塞：对于需要等待IO操作完成的任务（如网络请求或文件读写），将它们放入单独的线程中可以避免阻塞主线程，提升应用程序的响应速度。

充分利用多核CPU：对于支持多核CPU的设备，多线程可以充分利用各核心之间的并行处理能力，加快任务的执行速度。

总之，使用多线程可以充分利用计算机硬件资源，提高程序的效率和性能。但需要注意的是，在Python中由于全局解释器锁（GIL）的存在，多线程无法真正实现并行处理。

模板1

在Python中，多线程可以通过使用 threading 模块来实现。下面是一个简单的例子：

import threading

def my_function():
    print("Thread started")
    for i in range(1, 6):
        print("Hello from thread {}".format(threading.current_thread().name))

my_thread = threading.Thread(target=my_function)
my_thread.start()

print("Main thread finished")

这个例子创建了一个新的线程 my_thread，并在其中运行函数 my_function。调用 start() 方法启动线程，并使用 current_thread() 函数获取当前线程的名称。最后，主线程输出一条消息指示它已经结束。

需要注意的是，在Python中，由于GIL（全局解释器锁）的存在，多线程并不能真正地实现并发执行。如果需要实现真正的并发，可以考虑使用多进程或异步编程。

模板2

以下是一个使用多线程爬取网页内容的 Python 爬虫案例：

import threading
import requests

class SpiderThread(threading.Thread):
    def __init__(self, url):
        threading.Thread.__init__(self)
        self.url = url

    def run(self):
        resp = requests.get(self.url)
        print(resp.text)

urls = ['https://www.baidu.com', 'https://www.google.com', 'https://www.bing.com']

threads = []
for url in urls:
    thread = SpiderThread(url)
    thread.start()
    threads.append(thread)

# 等待所有线程结束
for thread in threads:
    thread.join()

在这个案例中，我们创建了一个 SpiderThread 类，继承自 threading.Thread 类，用于定义要执行的线程任务。在这个例子中，我们使用 requests 库向指定的网址发送 GET 请求，并打印响应内容。

接着，我们循环遍历要爬取的网址，在每个网址上创建一个 SpiderThread 实例，并启动线程执行任务。最后，我们使用 join 方法等待所有线程执行完毕。