Python 快速上手爬虫的 14 大技巧

标签：14 Python 爬虫 url https requests response 请求

大家好，我是老邓！今天我们将深入探讨在使用 Python 进行网络爬虫时的一些实用技巧。这些技巧将帮助你更高效地进行数据抓取，避免常见问题，并让你的爬虫程序更加稳健。

本文将在之前提到的 9 个技巧基础上，增加处理基本网页抓取（GET、POST）、Cookie 管理、IP 代理、验证码处理和多线程抓取等内容。

1. 理解目标网站的结构

在写爬虫之前，首先要理解你要爬取的网站的结构。了解 HTML 的基本结构和标签，以及数据存放的方式，可以帮助你确定应该提取哪些字段。

实用工具：Chrome 开发者工具

通过右键点击网页并选择“检查”，你可以查看网页的 HTML 结构，并找到你所需的数据元素。

2. 使用 requests 库发送请求

GET 请求

import requests

# 发送 GET 请求
response = requests.get('https://example.com')
print("响应状态码:", response.status_code)  # 检查请求是否成功

说明：requests.get() 用于发送 GET 请求，获取页面内容。

POST 请求

url = 'https://example.com/login'
data = {
    'username': 'your_username',
    'password': 'your_password'
}

response = requests.post(url, data=data)
print("登录响应状态码:", response.status_code)
print("返回内容:", response.text)

说明：requests.post() 用于发送 POST 请求，通常用于表单提交。

3. 解析网页内容

通常使用 BeautifulSoup 库进行 HTML 内容的解析和数据提取。

from bs4 import BeautifulSoup

# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取标题
title = soup.title.string
print("网页标题:", title)

4. 处理 Cookie

有些网站需要 Cookie 来维持会话状态，requests 库支持自动管理 Cookie。

手动设置 Cookie

cookies = {'session_id': 'your_session_id'}
response = requests.get('https://example.com', cookies=cookies)

说明：通过 cookies 参数可以手动添加 Cookie。

5. 设置请求头（Headers）

有些网站可能会检查请求头以确定请求的合法性。可以使用自定义的请求头来模拟浏览器的请求。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('https://example.com', headers=headers)

6. 处理异常和错误

网络请求可能会失败，因此需要处理异常情况。

try:
    response = requests.get('https://example.com')
    response.raise_for_status()  # 如果返回错误状态码，会抛出异常
except requests.exceptions.HTTPError as err:
    print("HTTP 错误:", err)
except Exception as e:
    print("其他错误:", e)

7. 使用 IP 代理

使用代理可以隐藏真实 IP 地址，防止被网站封禁。

代理示例

proxies = {
    'http': 'http://your_proxy:port',
    'https': 'http://your_proxy:port'
}
response = requests.get('https://example.com', proxies=proxies, headers=headers)

说明：通过 proxies 参数设置 HTTP 和 HTTPS 的代理地址。

8. 处理验证码

一些网站为了防止爬虫，会使用 CAPTCHA 验证码。对于复杂的验证码，我们可以使用 OCR 技术识别，但通常需要人工干预。

示例代码（仅供参考，实际应用需根据具体验证码类型调整）

import pytesseract
from PIL import Image

# 下载图片中的验证码
captcha_image = requests.get('https://example.com/captcha.png')
with open('captcha.png', 'wb') as f:
    f.write(captcha_image.content)

# 使用 pytesseract 识别验证码
captcha_text = pytesseract.image_to_string(Image.open('captcha.png'))
print("识别的验证码:", captcha_text)

注意：处理验证码的方式因网站而异，并且必须遵循法律法规和网站的使用条款。

9. 处理分页

许多网站的数据分布在多个页面上，需要处理分页。

for page in range(1, 6):  # 假设要爬取前 5 页
    url = f'https://example.com/page/{page}'
    response = requests.get(url, headers=headers)
    # 解析和提取数据...

10. 使用随机延迟

为了防止对目标网站造成压力以及避免被封 IP，可以在请求之间设置随机延迟。

import time
import random

time.sleep(random.uniform(1, 3))  # 随机延迟 1 到 3 秒

11. 保存数据

提取到的数据可以保存到 CSV 文件、JSON 文件或者数据库中。

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Title', 'URL'])  # 写入表头
    writer.writerow([title, 'https://example.com'])

12. 多线程抓取

为了提高抓取效率，我们可以使用多线程来同时发送多个请求。

使用 concurrent.futures 进行多线程抓取

import concurrent.futures

def fetch_url(url):
    response = requests.get(url)
    return response.text

urls = ['https://example.com/page/1', 'https://example.com/page/2', ...]

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    futures = {executor.submit(fetch_url, url): url for url in urls}
    for future in concurrent.futures.as_completed(futures):
        url = futures[future]
        try:
            data = future.result()
            print(f"{url} 爬取成功")
        except Exception as exc:
            print(f"{url} 发生错误: {exc}")

说明：使用 ThreadPoolExecutor 创建一个线程池来并发处理多个请求，提高爬虫效率。

13. 学习反爬虫机制

了解常见的反爬虫机制可以帮助我们避免被网站禁止访问。例如：

IP 封锁：使用代理池来轮换 IP 地址。
验证码：对抗验证码通常需要人工干预，或者使用 OCR 技术。
请求频率控制：合理设置请求频率。

14. 记录日志与调试

在开发爬虫时，记录日志是很重要的。可以使用 Python 的内建库 logging 来记录日志信息。

import logging

# 设置日志格式
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# 在代码中记录日志
logging.info("开始爬取数据...")

说明：使用 logging 模块可以方便地记录程序运行过程中的各种信息，帮助调试和排查问题。