【Python】一个实用的爬虫代码示例

目录

• • 思路
  • 代码实现
  • 反爬

需要爬取某个网站的前10个页面的图片，图片包括风景类或者人物类

思路

使用Python爬取某个网站的前10个页面的图片，并且只获取风景或人物类图片，可以按照以下步骤实现：

1. 发送HTTP请求：使用requests库向目标网站发送GET请求，获取页面的HTML内容。

2. 解析HTML内容：使用BeautifulSoup库解析HTML内容，找到图片链接。这通常涉及到查找包含图片URL的<img>标签。

3. 过滤图片链接：根据图片链接的某些特征（如URL中包含的关键词）来过滤出风景或人物类图片。

4. 下载图片：对于过滤后的图片链接，使用requests库再次发送GET请求获取图片内容，并保存到本地文件。

5. 处理分页：如果需要爬取多个页面，通常可以通过修改URL中的分页参数或寻找页面中的“下一页”链接来实现。

6. 异常处理：在爬取过程中，可能会遇到各种异常，如网络错误、反爬机制等，需要添加异常处理逻辑来确保程序的稳定性。

7. 遵守规定：始终确保你的爬虫行为符合目标网站的robots.txt文件规定以及相关法律法规。

代码实现

下面是一个简化的代码示例，展示了如何实现上述思路：

import requests
from bs4 import BeautifulSoup
import os
import re

# 目标网站的URL基础部分和分页参数
base_url = 'http://example.com/page/'
page_range = range(1, 11)  # 爬取前10个页面
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537'
}

# 图片分类关键字和保存图片的目录
imag