手把手教你写Python爬虫

Python 爬虫是一个很常见的工具，它能够自动抓取网站数据，并将数据存储到本地或者其他地方。本文将教你如何使用 Python 编写爬虫，并详细介绍代码实现过程。

准备工作 在开始编写代码之前，我们需要安装几个必要的 Python 库，包括 requests 和 beautifulsoup4。这两个库都可以使用 pip 命令进行安装，命令如下：

pip install requests pip install beautifulsoup4 1 2 安装完毕后，我们可以开始编写代码了。

编写爬虫 在本例中，我们将爬取一个简单的网页，网址为 http://www.baidu.com。下面是代码实现：

import requests from bs4 import BeautifulSoup

url = "http://www.baidu.com"

response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser")

print(soup.prettify()) 1 2 3 4 5 6 7 8 9 代码解释：

我们首先导入了 requests 和 beautifulsoup4 库。 然后，我们定义了要爬取的网址 url。在本例中，我们将爬取百度的首页。 接着，我们使用 requests.get() 方法来获取网页的内容，并将结果保存在 response 对象中。 我们使用 BeautifulSoup 类来解析网页内容。BeautifulSoup(response.text, "html.parser") 的作用是将网页内容解析成 BeautifulSoup 对象，方便我们对网页进行操作。 最后，我们输出 soup.prettify()，这样可以将 BeautifulSoup 对象的内容以格式化的形式输出。这样，我们就可以看到网页的全部内容了。 代码详解 下面是对上面代码中的每一行进行详细解释：

import requests from bs4 import BeautifulSoup 1 2 这一行代码导入了 requests 和 BeautifulSoup 两个库。

url = "http://www.baidu.com" 1 下一行定义了要爬取的网址，本例中为百度首页。

response = requests.get(url) 1 这一行代码使用 requests.get() 方法来获取网页的内容，并将结果保存在 response 对象中。

soup = BeautifulSoup(response.text, "html.parser") 1 这一行代码使用 BeautifulSoup 类来解析网页内容。BeautifulSoup(response.text, "html.parser") 的作用是将网页内容解析成 BeautifulSoup 对象，方便我们对网页进行操作。需要注意的是，在使用 BeautifulSoup 时，需要传入两个参数：网页内容和使用的解析器。

print(soup.prettify()) 1 最后，我们输出 soup.prettify()，这样可以将 BeautifulSoup 对象的内容以格式化的形式输出。这样，我们就可以看到网页的全部内容了。

总结 通过上面的例子，我们可以看到爬虫的过程非常简单。只需要使用 Python 的一些库，就可以轻松地抓取网页内容。但需要注意的是，爬虫是一项敏感的工作，需要遵守相关的法律法规和网站的爬取规则，否则可能会引起一些问题。 ———————————————— 版权声明：本文为CSDN博主「愚公搬程序」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/wgq2020/article/details/134068976